Az építkezést 1748 és 1755 között végezték el. A kinézett telken már állt egy korábban épített ház. Bíró püspök építészeket, kőfaragókat és stukatúrosokat hozatott, és a kastélyt a meglevő épület felújításával és az új épületbe szervezésével felépíttette. Az építkezésre és az épület berendezésére mintegy Bíró 100 000 forintot fordított. Pontosan nem ismerjük a tervező építész nevét, de több Bíró Márton által kezdeményezett építkezéseken részt vevő Tiethart József veszprémi építőmester jelenléte feltételezhető. Erre bizonyos sajátos stílusjelekből – stíluskritikai vizsgálatokkal – is következtetni lehet. Az épület kivitelezőinek feltételezett részesei: Paul Moiser püspöki kőműves, Antonio Orsatti stukóművész és Paul Wachtlender püspöki asztalos. Igényes építészeti alkotást hoztak létre, mely nemcsak a szűkebb helyi környezetben, de a magyarországi barokk művészet egészében is figyelemre méltó alkotásnak számít.
Püspöki lakhely 1755-1775
A palotát az egymást váltó püspökök alig néhány évtizedig használták püspöki lakhelyül.
Alkalmi lakhely, lakatlan palota 1775-től.
1775-re Koller püspök megépíttette a veszprémi püspöki palotát, attól kezdve a sümegi palotát a veszprémi püspökök csak bérmáláskor látogatták. 1875-ben – amikor Eötvös Károly az Utazás a Balaton körül című könyve alapjául szolgáló, barátaival tett utazásukkor meglátogatják, a palota már lakatlanul, üresen állt: Őrzését a Ranolder János veszprémi püspök által megbízott „félszemű kulcsárnő”, Juliánna asszony végezte, a könyvtár még tele volt könyvekkel. „A nagy terem közepén rendetlen halmokban hevertek az uradalmak gazdasági írásai, a korábbi püspököktől fölfelé sok századra […] Termei konganak, mintha üresek volnának. Falak, padlók, szőnyegek ódon szaggal telvék. […] Mintha barlangban volnál: úgy érzed magad a gazdátlan palotában.”
Államosítás, diákszálló 1947-től
1947-ben a palota épületét államosították, a szocialista évtizedekben kollégiumnak, általános iskolának, technikumnak használták. Értékes freskóit lefestették, díszes termeit falakkal leválasztották, bútorzatát széthordták, állaga jelentősen lepusztult.
A Wikipédiából, a szabad enciklopédiából