De club werd in 1946 opgericht als SD Torpedo en veranderde in 1947 de naam in SD Metalaca Sarajevo. De huidige naam werd in 1949 opgenomen.
Het eerste seizoen in de hoogste klasse werd in 1947 gespeeld maar de club degradeerde meteen. In 1950 keerde Sarajevo terug en eindigde als vijfde achter de vier grote clubs van het land: Hajduk Split, Rode Ster Belgrado, Partizan Belgrado en Dinamo Zagreb. In 1957 degradeerde de club maar kon na één seizoen terugkeren. Van dan af zou de club een vaste waarde worden in de Joegoslavische competitie.
In 1967 werd de club landskampioen en brak de lange traditie van Servische en Kroatische titelhouders. De tweede gouden periode voor de club was de jaren tachtig. De tweede titel werd in 1985 behaald.
Tijdens de oorlog in Joegoslavië lag het voetbal zo goed als stil, toch speelde de club enkele vriendschappelijke wedstrijden. Na de onafhankelijkheid slaagde de club erin om tweemaal de titel te behalen: in 1999 en 2007.
Op 26 december 2013 werd de club overgenomen door Vincent Tan, de zakenman uit Maleisië die in 2010 als de Welshe club Cardiff City FC had gekocht. In ruil voor een investering van ruim 1,5 miljoen euro kreeg hij de zeggenschap over het technisch en financieel beleid.
