Koncepcja budowy pierwszej synagogi w Katowicach narodziła się w latach 60. XIX wieku. W 1861 roku Żydzi otrzymali od administracji dóbr dworskich Tiele-Wincklerów parcelę pod budowę synagogi. W tym samym roku żydowski architekt i budowniczy Ignatz Grünfeld dostarczył projekt planowanego budynku. Prawdopodobnie architekt wzorował się na synagodze w Wolfhagen[2].
Budowa synagogi została ukończona w 1862 roku[3]. Sala główna mogła pomieścić łącznie 320 osób, 200 w głównej sali modlitewnej i 120 w galeriach dla kobiet. Oficjalne otwarcie miało miejsce 4 września 1862 roku[4], kiedy to uroczyście wniesiono zwoje Tory przechowywane w domu Simona Goldsteina[2]. Po 10 latach okazało się, że synagoga jest za mała i nie może pomieścić ciągle rosnącej liczby wiernych. W latach 1882–1883 została znacznie rozbudowana i nabrała nowych kształtów. Do zachodniej elewacji dobudowano korpus poprzeczny zwieńczony okazałą kopułą[5]. Liczba miejsc wzrosła do 282 dla mężczyzn i 221 dla kobiet, a uroczyste ponowne otwarcie synagogi odbyło się 20 kwietnia 1883 roku[2].
Murowany, piętrowy budynek synagogi wzniesiono na planie prostokąta, w stylu neoromańskim[6], z dekoracją arkadową na elewacjach bocznych. Charakterystycznym elementem synagogi były narożne pilastry[7]. We wnętrzu, w zachodniej części znajdował się przedsionek, z którego wchodziło się do głównej sali modlitewnej, z którą z trzech stron otaczały galerie dla kobiet. Sala główna była przyozdobiona w motywy mauretańskie[8].