A 17–18. században sűrű tulajdonosváltás jellemezte a területet. A 17. század végén, Buda töröktől való visszafoglalása után – mivel a városok, Buda és Pest lakossága jórészt meghalt vagy elmenekült – ingyen vagy nagyon olcsón telkeket osztogattak. Csak Pesten 350 telket osztottak így szét. Ekkoriban báró Werlein János István mint kamarai inspektor volt a város ura. Ebben a minőségében választhatott magának lakhelyet, és ő ezt a telket szemelte ki magának, tekintve, hogy a város legforgalmasabb részén, egyaránt közel feküdt a Hatvani- és a Kecskeméti-kapuhoz. Egy ház is állhatott már akkor a telken, amit talán át is alakított. Fia, Werlein Edmund József már egy kerítéssel körülvett és tatarozott házat örökölt, amit 1694. augusztus 30-án eladott Wilfersheim József (más forrás szerint Wilfershaimb) császári és királyi élelmezési biztosnak 150 forintért. Két évvel később Wilfersheim lebontatta a házat, és Kalcher Márton tervei szerint – aki a budai kőfaragó és kőműves céh alapító tagja volt – palotát építtetett.Örökösei azonban nem akartak Pesten élni, ezért 1744. április 9-én 11 000 forintért eladták a telket a palotával és a hozzá tartozó két rákosi réttel együtt Patachich Gábor kalocsai érseknek, aki a maga, valamint fivérei, Sándor és Lajos számára vette meg. A telek rajza ekkor vált szabályos négyszögből szabálytalan alakúvá. Az érsek már a következő év végén meghalt, fivérei pedig az egész ingatlant eladták Barkóczy Ferenc egri püspöknek, 18 000 forintért. A püspök nagy pompával rendezkedett be új palotájában, ami így a város egyik legelőkelőbb épülete lett, ahol még Mária Terézia is megfordult 1751. augusztus 4-én, amikor a palota erkélyéről fogadta a nép hódolatát. A palota mögötti telken ekkor már minden bizonnyal létezett egy díszkert.
Nyolc évvel később, 1759-ben, Mayerhoffer Andrást bízta meg Barkóczy a palota átalakításával,ami 1761-re készül el. Barkóczy ekkor ideje nagy részét már Pozsonyban töltötte, 1765-ben pedig meg is halt, így az akkor már alig használt palota az öccsére, gróf Barkóczy János szabolcsi főispánra szállt. Barkóczy János a palota és a kert használati jogát átadta nővérének, Szirmay Tamásné grófnénak, aki azt egy évre bérbe adta Beleznay Miklós tábornoknak 600 forint bérleti díjért. 1768. november 5-én pedig ismét eladták az ingatlant, ezúttal már végleges tulajdonosaiknak, a Károlyi családnak, akik kezelésében Pest egyik legszebb palotájává és kertjévé vált.
A Wikipédiából, a szabad enciklopédiából