A rumi Bezerédj (majd Széchenyi) kastély építésének pontos idejét nem sikerült felkutatni. Valószínű, hogy a XIX. század első évtizedeiben, esetleg még ezt megelőző időkben építhették a Bezerédjek klasszicista stílusban. A kastély eredeti felépítettsége (később bővítették) igazán különleges lehetett abban, hogy kocsival lehetett behajtani az épületbe, amelyet nyeregtető fedett, fűtése kandallókkal és cserépkályhákkal történt.
Széchenyi Péter a tulajdonába került régi kastélyt, az északi és a déli oldalon erőteljesen átalakította, illetve folytatta a Bezerédjek által megkezdett bővítést. Ennek hatására teljesen megváltozott az épület arculata. A XIX-XX. századi kastélyfelújítások során a stílusjegyek keveredtek, ezért is beszélhetünk klasszicista stílusról. Érdekes és építészetileg meghökkentő, hogy a főhomlokzati rész jobb sarka félköríves, míg a többi szögletes.
A régi kastélyban a csigalépcsőket megszüntették és fürdőszobákat, mellékhelyiségeket alakítottak ki a helyükön. A legnagyobb belső változást a széles pihenővel is ellátott lépcsőzet kialakítása jelentette. A lépcsőt nagyon szép, faragott fából készült korlát kíséri, amely ma is eredeti formájában látható. A kastélyt – amely a Vas Megyei Önkormányzat tulajdona – 8 hektáros parkerdő és 3 hektáros kertészet veszi körül. A keleti és nyugati oldalát kör keresztmetszetű élő sövény díszíti , amely rendkívül szépen gondozott, akárcsak a kastély együttes maga.
A tulajdonosok 1945-ig „időszakos” jelleggel tartózkodtak a birtokon, elsősorban nyáron és ősszel, s ilyentájt gyakran tartottak vadászatokat és bálokat.
A II. világháború viharai az épület külső részét megkímélték ugyan, de a berendezési tárgyakat tönkretették, elhordták az elvonuló német, orosz katonai csapatok. A megmaradt tárgyi emlékeket pedig a környező falvak lakói hordták szét. 1945 és 1948 között a kastélyt raktárnak és üdülőnek egyaránt használták