Původní stavby podlehly ničivému požáru ghetta v roce 1689. Na jejich místě vyrostla mezi lety 1689 a 1694 nová synagoga v raně barokním slohu, jejímž stavitelem byl Šelomo Chališ Kohen. Krátce poté, v roce 1696, byla na náklady Samuele Oppenheima doplněna o monumentální třístupňovou schránu na Tóru. Dnešní barokní budova je největší synagogou v Josefově a jedinou ukázkou raně barokní architektury v někdejším pražském ghettu.
Synagoga zaujímala v životě pražské židovské komunity výjimečné místo. Byla druhou hlavní synagogou pražské židovské obce a zároveň modlitebnou pohřebního bratrstva Chevra kadiša, instituce pečující o pohřby, hřbitovy, nemocné a umírající. Působila zde řada významných rabínů, mimo jiné Eleazar Fleckeles. Stojí bezprostředně u Starého židovského hřbitova, s nímž ji pojí hluboké historické pouto.
V letech 1883–1884 prošla synagoga opravou a obnovou podle návrhu architekta Bedřicha Münzbergera, který se podílel i na výzdobě Španělské synagogy. Při asanaci Josefova na přelomu 19. a 20. století byla synagoga zachována, na rozdíl od řady jiných staveb ghetta, které tehdy zanikly. Za druhé světové války sloužila jako sklad i jako součást expozice válečného Židovského ústředního muzea. Další opravy proběhly v letech 1960, 1979–1981 a 1995–1996. Z původní stavby ze 17. století se dochoval pouze tvar oken a nápisová deska na pilíři datující vznik synagogy do roku 1694.
Po desetiletí hostila synagoga stálou expozici věnovanou židovským tradicím a zvykům. V současné době je budova uzavřena a prochází generální rekonstrukcí, která potrvá přibližně do roku 2028. Po jejím dokončení bude synagoga zpřístupněna veřejnosti s novou expozicí. Adresa: U Starého hřbitova 3a, Praha 1.