A kalocsai egyházmegye érseki székhelyén kezdetben erődített várkastély állott, majd a 18. században alakult át barokk kastéllyá. A kétemeletes, klasszicista elemeket is hordozó épületet 1775-ben Batthyány József érsek, későbbi bíboros kezdte meg, de mai kinézetét báró Patachich Ádám kalocsai érseknek, korábbi nagyváradi püspöknek köszönheti, aki 1776-ban a váradi palotájának mintájára terveztette meg „U” alaprajzú, középrizalitos főhomlokzatú érseki rezidenciáját, mely a nyugati szárny kivételével 1780-ra be is fejeződött.
A keleti szárny díszes könyvtártermében Patachich Ádám érsek közel húszezer kötetet számláló magánkönyvtára különleges könyvpéldányokkal ma látogatható. A magánkápolna és a díszterem freskódekorációját a korszak egyik legnépszerűbb festője, Franz Anton Maulbertsch készítette.
A nyugati szárny Kollonich László érseksége idején, a 19. sz. elején épült fel Thalher József kamarai építész tervei alapján.
Az érseki kastély mögötti Érsekkertet 1790-ben gróf Kollonich László érsek terveztette és kezdte kialakítani, majd Haynald Lajos érsek csodálatos parkká alakíttatta, gazdag kertkultúrával.
1930-ban e történeti kert nagy részét Kalocsa város lakóinak használatába adták, pihenő parkként, mely ma a francia és angol kertépítészet hagyományaira emlékezteti a benne sétálót.