Nella sua storia vanta una partecipazione alla Coppa UEFA, precisamente nell'edizione 1991-1992, da dove viene eliminato al secondo turno.
Storia
Dalla fondazione alla seconda guerra mondiale
Il club trae le sue origini da un club di cricket fondato nel 1895 che cambiò nome in SC Erfurt 1895 appena allargò i suoi interessi sportivi. Il club fu uno dei fondatori, nel 1900, della DFB, la federcalcio tedesca, e nel 1904 cominciò a partecipare alla Verband Mitteldeutscher Ballspielvereine (campionato della Germania centrale). Nella stagione 19089-1909 la squadra vinse il campionato regionale ed avanzò fino alle semifinali di quello nazionale, fino a quando non fu eliminato dai futuri campioni del KFC Phönix. Durante il periodo nazista, l'Erfurt giocò alcune stagioni nella Gauliga Mitte, la massima serie del campionato, ma non vinse alcun trofeo.
Il dopoguerra
Alla fine della seconda guerra mondiale, le autorità alleate chiusero tutte le associazioni, calcistiche comprese. Nel 1946 l'occupazione sovietica divise Erfurt in cinque distretti sportivi. L'''SG Erfurt West'' nacque dove prima c'era l'SC Erfurt 1895 e il VfB Erfurt, per questo motivo infatti alcuni giocatori delle due squadre andarono a militare nella squadra appena nata. I successi arrivarono presto con un'apparizione in finale regionale nel 1948 e con il titolo regionale conquistato l'anno successivo. A questo punto venne proclamata la nascita della Repubblica Democratica Tedesca e della DDR-Oberliga e in seguito, un po' anche a causa degli scarsi risultati conseguiti, la società in pochi anni cambiò nome svariate volte: Fortuna Efurt (1949), KWU Erfurt in (1950) e BSG Turbine Erfurt (1951). Con questo nome il club vinse i titoli del 1954 e del 1955, ma retrocesse per la prima volta in DDR-Liga al termine del campionato 1959. Negli anni sessanta il club andò su e giù tra la prima e la seconda divisione: retrocesse tre volte, ma venne sempre promossa l'anno successivo. Come la maggior parte dei club della DDR, la società soffrì il trasferimento "forzato" dei suoi migliori giocatori verso squadre molto più favorite dai poteri politici che governavano un tempo la nazione.
Dagli anni '60 agli anni '80
Il calcio tedesco orientale andò incontrò a grossi cambiamenti: il più significativo fu quello avvenuto nel 1965, quando le squadre calcistiche vennero separate dagli Sportclub; pertanto le squadre calcistiche del SC Turbine Erfurt e del BSG Optima Erfurt si fusero, il 26 gennaio 1966, con il nome di FC Rot-Weiß Erfurt, mentre le squadre giovanili restarono ai propri club. Il nome Rot-Weiß inizialmente fu un nome inusuale per la Repubblica Democratica Tedesca in quanto non richiamava in alcun modo la tradizione socialista del paese. L'unico risultato importante della squadra durante questi anni fu il raggiungimento della finale di coppa nazionale; la squadra perse 3-1 contro il Carl Zeiss Jena.
L'accorpamento dei due sistemi calcistici di Est e Ovest causò alcuni problemi alle squadre dell'ex Germania Est, e il Rot-Weiss non ne fu esente. Tra gli anni novanta e l'inizio del XXI secolo il Rot-Weiss rimase in Regionalliga, rischiando la retrocessione nel 2001, dalla quale si salvò in quanto venne condannato l'SSV Ulm 1846 per problemi finanziari. Disputò però la 2. Fußball-Bundesliga 2004-2005, ma anche in questo caso non riuscì a salvarsi. Nel 2008 fu poi una dei club ammessi alla nuova 3. Liga, nella quale rimase per dieci edizioni. Nel 2020 il Rot-Weiss si ritrovò però addirittura in quinta divisione, ritrovando comunque la promozione due anni dopo.
Nell'unica partecipazione alle competizioni europee la squadra ha eliminato il Groningen ed è stata eliminata nel turno successivo dall'Ajax poi vincitore.