A palotát Ybl Károlyi Lajos megrendelésére kezdi el tervezni 1863-ban, majd fia, Alajos gróf megbízásából folytatja. Az épülethez több terv készül, a koraiak mind egybefogottabb tömegképzést mutatnak, felvetődhet, hogy az épület legjellegzetesebb elemei, a rizalitot koronázó franciás jellegű, meredek hasáb alakú manzárdtetők a megrendelő kifejezett ösztönzésére születtek meg. A korai terveken a bejárat még nem a mai Pollack Mihály térről, hanem a Múzeum utcából nyílott volna, a nagyvonalú főhomlokzati árkádíves kocsialáhajtó ötlete is a későbbi terveken jelent meg. Mindvégig a kompozíció szerves része a kert kiképzése. Keletkezett olyan elképzelés is, amely a megvalósított fedett átrium helyett parkosított, nyitott belső udvar köré szervezte volna az épületszárnyakat. A kivitelező Ybl gyakori munkatársa, Wechseimann Ignác, az épületszobrász Schäffer Károly volt. Megvalósult formájában a szabadon álló épület homlokzata gazdag plasztikájú, a reneszánsz és hellenizáló elemek harmonikus együtteséből Budapest egyik legszebb palotája született. A belső legfontosabb tere a felülvilágított reneszánsz árkádíves átrium, amelynek középpontjában a metszet szerint szökőkút állt. Az előcsarnok és a bejáró stukkódíszes tereinek mennyezetét Lotz Károly freskói is ékesítették. A kert középtengelyébe a Szentkirályi utca sarkán álló Károlyi-bérház hátsó tűzfalához kis gloriettet állítottak, ezzel is kiemelve az intim belső tér harmóniáját. 1894-től Behr Lajos iparművész és belsőépítész átalakította a palotabelsőt. 1920-tól a második világháborúig az olasz nagykövetség bérelte a palotát. A háborúban súlyos sérüléseket szenvedett, csak a homlokzatot állították helyre és lényegében máig nem alakult ki építészeti értékének megfelelő funkciója: volt a Bizományi Áruház Vállalat raktára, az utóbbi érvtizedekben a Magyar Rádió egyik alig használt épületeként funkcionált.
http://ybl.bparchiv.hu/temak/karolyi-alajos-karolyi-lajos-grof-palotaja