Chemnitzer FC:n edeltäjänä pidetään vuonna 1945 perustettua SG Chemnitz Nordia. Tällä nimellä seura pelasi kolme kautta, jonka jälkeen nimeksi vaihdettiin BSG Fewa Chemnitz. Seura pelasi kyseisellä nimellä kaksi kautta, jonka jälkeen uudeksi nimeksi otettiin BSG Chemie Chemnitz. Vuonna 1951 kaupungin nimeksi vaihdettiin Karl-Marx-Stadt, jonka takia seuran nimeä vaihdettiin uudelleen. Vuonna 1966 otettiin käyttöön tunnetuin nimi FC Karl-Marx-Stadt, jolla seura saavutti myös eniten menestystä. Kaudella 1966–1967 seura voitti ensimmäisen ja samalla ainoan Itä-Saksan mestaruutensa.[1]
Kaudeksi 1970–1971 Karl-Marx-Stadt putosi DDR-Ligaan, mutta nousi heti yhden kauden jälkeen. 1980–luvun lopulla joukkue sijoittui kerran sarjan toiseksi ja kolmanneksi, jotka jäivät sen historian parhaimmiksi sarjasijoituksiksi DDR-Oberligassa.[2] Kesällä 1990 seuran nimeksi vaihdettiin nykyinen Chemnitzer FC.[1] Kauden 1990–1991 päätteeksi seura sijoittui pääsarjan viidenneksi ja pääsi suoraan 2. Bundesliigaan.[3] Chemnitzer FC onnistui säilyttämään sarjapaikkansa viiden kauden ajan sijoittuen parhaimmillaan neljänneksi. Kausiksi 1999–2001 seura nousi takaisin toiseksi korkeimmalle sarjatasolle, mutta putosi sen jälkeen Regionalligaan.[2] Chemnitzer FC nousi kauden 2010–2011 päätteeksi 3. Ligaan.[4]