A kastély építéstörténetének a felvázolása sok problémát vetett fel, amelyek közül több, a levéltári források hiánya miatt megoldatlan maradt, és csak egy, az épület minden részletére kiterjedő falszövetkutatás adhat majd választ a felmerült kérdésekre eddig csupán a kastély külső homlokzatainak a kutatására nyílt szűk körű lehetőség.
A Borsod vármegyei eredetű, 1417-ben Luxemburgi Zsigmond királytól címeradományt nyerő szirmai és szirmabesenyői Szirmay család 1694-ben szerzett Tolcsván szőlőbirtokokat Szirmay András révén. Tolcsva földesura azonban a felsővadászi Rákóczi család volt ekkor, annak sárospataki uradalmához tartozott a település, majd herceg Rákóczi Ferenc a későbbi II. Rákóczi Ferenc fejedelem 1699-ben a később grófi rangra emelt Szirmay (V.) Istvánnak zálogosította el a mezővárost.
1746-ban Szirmay (I.) Ádám lett zálogjogon Tolcsva és Erdőbénye földesura, aki Zemplén vármegye országgyűlési követeként is működött. Ő már rendelkezett a településen egy akkori értelemben vett nemesi rezidenciával, amely minden bizonnyal az az épületcsoport volt, amelyet a huszonhárom évvel később, 1784-ben készült I. katonai felmérés térképe jelölt a mai kastély helyén.
Ezen a térképen három téglalap alakú kőház látható, amelyeket kőkerítés vesz körül. Ezek az épületek azonosíthatóak a mai kastélyba beépített két 18. századi, barokk kori épületrésszel. Egyrészt a déli, mára eredeti hosszához képest jelentősen lerövidült oldalszárny két helyiségével az egykori konyhával és a kápolna falainak egy részével , valamint a hozzájuk kapcsolódó folyosószakasszal, másrészt az északi keresztszárny pincéjével.
Szirmay (I.) Ádám 1761-es halálakor legkisebb testvére, Szirmay Sándor örökölte a tolcsvai nemesi rezidenciát, valamint az itteni birtokok nagyobb részét azzal a kikötéssel, hogy halála után (II.) Ádám nevű fiára szálljanak a javak. Szirmay Sándor már jóval a halála előtt, 1773-ban átadta tolcsvai birtokait negyedik fiának, Szirmay (II.) Ádámnak.