La synagogue se dresse non loin de l’ancien quartier juif à Zariadye, mais la construction d’un lieu de culte à l’intérieur de Kitaï-gorod ne recevant pas l’accord des autorités le bâtiment fut érigé un peu plus loin, dans la ville blanche. La construction, selon le second projet de l’architecte autrichien Simon Eibuschitz, débuta le , mais fut arrêtée en 1888 par la municipalité, qui exigea des modifications importantes de parties déjà finies du bâtiment. La construction dura encore plusieurs années, avant que les autorités ne l’interdisent en 1892. Après la révolution russe de 1905, le gouvernement accorda la liberté de culte à tous et la communauté juive put enfin construire la synagogue sans entraves.
En 1906, la synagogue fut inaugurée et elle resta ouverte pendant toute la période soviétique, ce qui est un fait exceptionnel.