A Garam és Szalatnya folyók találkozásánál lévő terület jelentős szerepet játszott a korai feudális magyar uralkodók körében. Ezen a részen, a zólyomi vármegyében alakult ki az egyik legrégebbi és területileg legnagyobb politikai egység, melynek központja eredetileg a 12. században egy meredek sziklafalon épült Pusztavárban volt. Rossz megközelíthetősége azonban azt eredményezte, hogy I. Lajos király 1360-ban egy új gótikus–reneszánsz kastély felépítésére adott parancsot, melyet az olasz várkastélyok mintájára építettek. Eredetileg a magyar királyok vadászkastélyaként és nyári rezidenciájaként szolgált. A várkastély szabályos téglalap alaprajzú, négy szárnya a központi udvar köré épült. Egyik legfontosabb építészeti eleme a várkápolna, amely eredetileg kétszintes volt és külön bejárattal rendelkezett. A 15. és 16. századfordulóján a várkastély átalakítására került sor, melyet akkori tulajdonosa Thurzó János a dúsgazdag Thurzó főnemesi család tagja finanszírozott. Később, a közelgő török támadások veszélye miatt, melyek elsősorban a gazdag bányavárosokat fenyegették, újabb átalakításokra került sor. Egy új emeletet építettek a kastélyra, egy külső várfallal, négy bástyával, ágyúlőrésekkel és egy hatalmas olaszbástyával erősítették meg a védőrendszerét. Ebben az időszakában szerezte meg a Balassa család, akiknek tagjaként 1554-ben itt született meg Balassi Bálint, a korszak legnagyobb magyar reneszánsz költője. A 17. században többször is gazdát cserélt (1605-ben Bocskai, 1619-ben Bethlen Gábor, 1644-ben I. Rákóczi György tulajdonában volt). 1620-ban egy évig itt őrizték a Szent Koronát. A 18.században, amikor az Eszterházy család tulajdonába tartozott többször átépítették. Miután a vármegye székhely Zólyomból Besztercebányára került elvesztette korábbi jelentőségét. Történelmi, művészeti és építészeti értéke miatt nemzeti kulturális örökséggé nyilvánították. Jelenleg a Szlovák Nemzeti Galéria álandó kiállításai színhelyeként szolgál. A kastély kápolnája istentiszteletek helyszíne, a lovagterem pedig házasságkötő teremként szolgál.