A Gyöngyös belvárosában, az egykori Orczy-kastélyban lévő Mátra Múzeum, nemcsak a környék, hanem túlzás nélkül állítható, Magyarország egyik legérdekesebb múzeuma. A gyönyörűen felújított, Europa Nostra-díjat is kapott kastély épülete, a romantikus kastélypark, és a 2009-ben megnyitott modern Természettudományi Pavilon is kihagyhatatlan látnivaló.
A kastélyt Orczy Lőrinc építtette 1770-ben, melyet többször átalakítottak, végül 1826-ban készült el ma is látható klasszicista formája. A palotát és annak parkját 1937-ben eladták a városnak, berendezésének és műtárgyainak azonban nyoma veszett. 1958-tól itt működött a városi könyvtár, illetve itt tárolták a ferencesek híres műemlékkönyvtárát is. 1984-ben költözött ide a Mátra Múzeum.
Az épület és a kert teljes felújítása és feltárása 2005-ben kezdődött el, mely során előkerültek korabeli barokk falfestményei, kibontották az 1826-ban befalazott árkádokat, lefedték üvegtetővel a korábban nyitott belső udvart, modernizálták a műszaki berendezéseket. A megújult épületben 2007 óta fogadnak újra a látogatókat.
A kastélyban helyet kapott vadászattörténeti, helytörténeti, ásvány- és őslénytani állandó kiállítások fő látnivalója a gyönyörű árkádos belső udvarán kihelyezett gyapjas mamut csontváza, a múzeum jelképének számító csontvázat 1949-ben találták Mátraderecskén, és hazánk egyetlen mamutcsontváza.
A kiállításokon megismerkedhetünk a környék legjelentősebb földbirtokos családjának, a kastélyt is építtető Orczy családnak a történetével, számos trófeát csodálhatunk meg a vadászati kiállításon, és a Mátra ásványi kincseivel is megszemlélhetjük.