Jøderne i København fik i 1684 tilladelse af kongen til at afholde offentlig gudstjeneste, men de måtte kun forsamles i private hjem eller i lejede lokaler. Først 1764 fik jøderne lov at opføre en synagoge, og den kom til at ligge i Læderstræde, men nedbrændte ved bybranden i 1795. Grunden i Krystalgade (dengang Skidenstræde) blev købt i 1800, og i 1804 udarbejdede Peter Meyn et projekt, som dog ikke blev opført. Den nuværende bygning er opført i 1830-33 og tegnet af G.F. Hetsch i en ægyptiserende stil.
Synagogen er udformet som en basilika i gule mursten med nær kvadratisk grundplan. Menigheden havde ønsket et tøndehvælv, men på Hetschs anbefaling blev loftet i stedet et kassetteloft. Rækker af ottekantede søjler adskiller hovedrummet fra to smallere sideskibe. Gudstjenesten er kønsopdelt: Sideskibenes pulpiturer og balkonen på vestvæggen udgør kvindeafdelingen, mens mandsafdelingen findes på gulvet af hovedrummet. På østvæggen fører trapper op til prædikestolen og det bagvedliggende hellige skab, hvor Torah-rullerne huses. På muren ovenover står med gyldne bogstaver inskriptionen דע לפני מי אתה עומד – »vid, for hvis ansigt du står!«. Foran Torah-skabet findes en estrade og herpå står et alterlignende bord, kaldet bimah, hvorfra der læses fra Torah-rullerne og hvorfra kantoren synger.
Bag synagogen lå indtil 2006 Meyers Minde, oprindeligt en stiftelse for uformuende jøder, i 1965 omdannet til plejehjem.
Ved en ombygning i 1885 (ved arkitekterne Frederik L. Levy og Ove Petersen) tilføjedes et port- og trappehus, mens det tidligere trapperum til kvindeafdelingen blev omdannet til garderober.[1]
22. juli1985 var synagogen udsat for et terrorangreb, da en bombe eksploderede uden for bygningen. 27 mennesker, der opholdt sig på Det mosaiske Troessamfunds plejehjem i Krystalgade, kom til skade. Organisationen Jihad al Islami tog ansvaret for angrebet mod jødiske og israelske interesser.[4],
Natten mellem 14. og 15. februar 2015, var der igen et terrorangreb foran Synagogen, da den formodede gerningsmand til Angrebet på Kulturhuset Krudttønden, Omar Abdel Hamid El-Hussein, affyrede flere skud rettet mod Synagogen. To politibetjente blev ramt i henholdsvis armen og benet. Den 37-årige Dan Uzan blev ligeledes skudt, og døde på stedet, da han som frivillig stod vagt ved en bat mitzva (jødisk konfirmation).
Snublesten
Tre snublesten blev i 2019 nedlagt ved indgangen til synagogen til minde om Thora Therese Krogmann, Rosa Nachemsohn og Beile Malka Zipikoff, der sammen med ni andre beboere fra Meyers Minde blev deporteret til Theresienstadt.