Egyes adatok szerint már 1771-ben volt a faluban zsidó templom, de az a gyönyörű barokk stílusú zsinagóga, amely több mint 150 éven keresztül szolgálta a mádi zsidókat, csak 1795-ban épült fel. Építését két gazdag család, a Brener és a Teitelbaum testvérek finanszírozták, akik mint borkereskedők telepedtek le Mádon. Feljegyezték a krónikások, hogy a régi zsidótörvények szerint a nők, a gyerekek és férfiak hordták a köveket a környező hegyekből, bányákból az építkezéshez, hogy idegen kéz ne érintse azokat. A templom felszentelését a bonyhádi Boskovitz Wolf (1740–1818) rabbi végezte el. A stílus olasz mesterek kezét dicséri, belső harmóniáját a négy tartóoszlop biztosítja. Közepén kupola borul a tóraolvasó asztal fölé. A középső négyszög körül két oszlopban padok 130 ember számára. Bensőséges intimitás jellemzi a belső teret, míg kívülről a barokk és a copf építészeti stílus harmonikus keveredése teszik egyikévé a legszebbeknek a magyarországi zsidó templomok közül.
Szép formája, gazdag s idegenszerű belseje érdekesen képviseli a hajdani magyarországi zsidóság leghagyományosabb csoportját, a Galíciával szomszédos északkeleti megyék ortodoxait. Az épület szerkezetében és elrendezésében nagy múltú hagyományok képviselője: kilencosztatú nagyterme a lengyel-litván reneszánsz 16. századi találmánya, olyan építészeti kompozíció, amely a szószék és az építészeti szerkezet között alkot kapcsolatot, azaz a tanításra és imára rendelt tér lényegét fejezi ki.
A zsinagóga bejárati kapujára faragott évszámot (1795), a zsinagóga nagyrészt egységes falszerkezete és a rokon építményekkel való összevetés alapján az építés hiteles dátumának tekinthetjük. Ezen túl azonban az épület további életéről egyetlen adatot sem ismerünk, mert azokat a hitközség levéltárán kívül nem rögzítették, az pedig minden jel szerint nyomtalanul elpusztult.