Il club fu fondato il 26 giugno 1904 con la denominazione di come Borås Fotbollslag. Nel 1906 il nome fu cambiato nell'attuale IF Elfsborg.
Nella stagione 1925-1926 l'Elfsborg terminò al primo posto nel proprio raggruppamento della seconda serie nazionale, riuscendo ad avere l'opportunità per la promozione nella categoria superiore. Per qualificarsi, però, l'Elfsborg dovette sfidare l'Halmstads BK. Le prime due partite (andata e ritorno) videro una vittoria per parte, perciò si dovette giocare una terza partita decisiva sul campo neutro di Göteborg, che fu vinta dall'Elfsborg per 4-1. I quattro gol della squadra di Borås furono tutti ad opera di Nils Hedin e siglati tutti nel secondo tempo. Ciò permise all'l'Elfsborg di partecipare per la prima volta al massimo campionato.
L'Elfsborg debuttò nella massima serie svedese nella stagione 1926-1927 terminando al decimo posto, con un margine di due punti sul Westermalms IF, che retrocesse insieme all'IFK Uddevalla. Successivamente, il club migliorò e si affermò come una delle migliori squadre della Allsvenskan, classificandosi al quinto posto di essa nella stagione 1927-1928. Nella stagione 1930-1931, l'Elfsborg andò vicinissimo alla retrocessione. Stavolta arrivò di nuovo decimo a pari punti col Redbergslids IK ma fu salvato dalla differenza reti (-20 contro -25). Il club poi iniziò a fare degli investimenti nel 1930.
Il periodo aureo 1934 - 1947
Nella stagione 1934-1935, l'Elfsborg salì per la prima volta nella sua storia sul podio della Allsvenskan, posizionandosi al terzo posto. Tuttavia, i tifosi erano convinti che fosse solo l'inizio della strada che avrebbe portato all'affermazione del club.
I sostenitori non avevano torto. Infatti, nella stagione successiva, quella del campionato 1935-1936, l'Elfsborg vinse per la prima volta la Allsvenskan. Importanti furono gli scontri diretti con l'AIK, secondo a quattro punti di distanza: infatti, l'Elfsborg vinse 3-2 a Stoccolma e 4-1 in casa, dove si registrarono 16.348 spettatori per la partita (che fu record di pubblico per il Ramnavallen). Un altro match memorabile della stagione fu la trasferta contro l'IFK Eskilstuna del 19 aprile 1936 che si giocò allo stadio Tunavallen di Eskilstuna: l'Elfsborg riportò una grande vittoria per 12-2, complice il fatto che l'IFK era ultimo in classifica con una squadra molto modesta. Questa è ancora oggi la vittoria con il maggiore scarto di reti nella storia dell'Elfsborg e della Allsvenskan.
Le due stagioni successive (1936-1937 e 1937-1938) si conclusero con un quinto e un quarto posto. Nell'estate del 1938, in occasione del campionato mondiale di calcio 1938 che si svolse in Francia, furono convocati anche alcuni giocatori dell'Elfsborg.
Nella stagione 1938-1939, l'Elfsborg chiuse nuovamente il campionato al primo posto. Questa volta il margine di vittoria sull'AIK (che anche stavolta arrivò secondo) fu di nove punti.
La terza vittoria del campionato si ripeté nel corso della stagione successiva, quando l'Elfsborg vinse per la seconda volta consecutiva la Allsvenskan. Il campionato terminò a pari punti con l'IFK Göteborg, ma la differenza reti fu a vantaggio della squadra di Borås.
Dopo che nei campionati 1940-1941 e 1941-1942 i gialloneri si classificarono prima al quarto e poi al settimo posto, nelle tre stagioni successive (1942-1943, 1943-1944 e 1944-1945) arrivarono al secondo posto. In particolare, nella stagione 1942-1943, sfiorarono il quarto titolo, poiché solo un punto li separò dai vincitori dell'IFK Norrköping.
I giocatori dell'Elfsborg della stagione 1942-1943.
Nonostante l'Elfsborg non riuscì a salire sul podio neppure nella stagione 1946-1947 (quarto posto), il periodo dal 1934 al 1947 fu aureo per la squadra svedese. In questo periodo infatti, il club riuscì ad arrivare almeno terzo per ben dieci volte su tredici.
Il declino, la prima retrocessione e la ripresa
Dalla stagione 1947-1948, e fino alla stagione 1952-1953, l'Elfsborg terminò tutti i campionati, ad eccezione di uno solo, sempre al decimo posto, evitando con molta fatica la retrocessione (che valeva per l'11º e il 12º classificato).
La fortuna, col passare del tempo, voltò le spalle al team di Borås che nella stagione 1953-1954 non riuscì ad evitare la retrocessione in nessun modo. Dopo ventotto stagione di fila nel massimo campionato svedese, l'Elfsborg retrocesse così per la prima volta nella sua storia. Il club si classificò addirittura ultimo, a sei punti dalla salvezza.
Nella prima stagione in Division 2 (nome che all'epoca rappresentava il secondo livello del calcio svedese, mentre oggi è il quarto) dopo quasi un trentennio, l'Elfsborg si classificò terzo, ma per risalire in Allsvenskan era necessario vincere il campionato che fu invece vinto dall'altra squadra di Borås, il Norrby IF. Poi, per quattro stagioni di fila, l'Elfsborg si qualificò secondo, non riuscendo a ritornare nell'élite del calcio svedese. Nel 1960 riuscì finalmente a qualificarsi per l'Allsvenskan, distaccando di ben tredici punti la seconda. L'assenza dal massimo livello del calcio nazionale era finita dopo sei anni di attesa.
I record del 1961
Nel campionato 1961, stagione del ritorno in Allsvenskan, l'Elfsborg vinse il titolo di "Campione di Svezia". Un evento del genere non si era mai verificato: mai, prima di allora, una neopromossa aveva vinto il titolo nazionale svedese. In quell'anno, una partita (contro l'IFK Göteborg) terminò 5-5 e poco dopo (nella partita interna contro l'IFK Norrköping) si verificò il record assoluto di presenze al Ryavallen con 22.654 persone.
Il ritorno nell'anonimato e in Seconda Divisione
Dopo l'exploit del 1961, l'Elfsborg non fu in grado di riconfermarsi, evidenziando un netto peggioramento. Nel 1962 non andò oltre un deludente settimo posto, mentre nel 1963 evitò di soli quattro punti la retrocessione. Nel 1965 ci fu il canto del cigno: l'Elfsborg arrivò a due punti da un nuovo titolo di "Campione di Svezia", dopodiché rischiò più volte la retrocessione che arrivò nel 1971. La riconquista della massima serie arrivò però solo un anno dopo, nel 1972.
Un argento per tre
Anche se non portò alla vincita del titolo nazionale, il 1977 fu sicuramente uno degli anni più positivi nella storia dell'Elfsborg. Innanzitutto, si qualificò secondo al termine dell'Allsvenskan in compagnia di Kalmar FF e di IFK Norrköping. Poi, questo fu anche l'anno della consacrazione di Thomas Ahlström, un bomber che con i suoi gol portò la squadra ai vertici della classifica. Lo stesso Ahlstrom fu convocato per la Nazionale di calcio svedese per i Mondiali del 1974. Egli fu uno dei pochi giocatori appartenenti al club giallonero ad essere convocato in nazionale.
Tra Allsvenskan e Seconda Divisione
Tra il 1981 e il 1984 l'Elfsborg si piazzò generalmente nelle parti basse della classifica dell'Allsvenskan, riuscendo ad evitare la retrocessione sempre di pochi punti (ad eccezione del 1982, quando il club arrivò terzo).
La squadra di Borås tornò per l'ennesima volta in seconda serie nel 1984, risalendo soltanto due anni dopo.
Dopo altri anni di anonimato, il nuovo millennio cominciò con una vittoria per l'Elfsborg. Il 25 maggio 2001 nella bacheca del club arrivò infatti la prima Coppa di Svezia dopo un match molto combattuto contro l'AIK (terminato 10-9 per l'Elfsborg ai calci di rigore). Il 2001 fu anche l'anno del ritorno ad una competizione europea che mancava da 18 anni: l'avventura in Coppa UEFA (oggi Europa League), tuttavia, terminò velocemente con l'eliminazione al primo turno per mano del Legia Varsavia.
Il 2003 vide l'Elfsborg vincere di nuovo la Coppa di Svezia, battendo in finale l'Assyriska FF per 2-0. Nel 2004 partecipò di nuovo alla Coppa UEFA, ma anche in quest'occasione uscì al primo turno perdendo contro la Dinamo Zagabria.
Il 17 aprile 2005 venne inaugurata la Borås Arena, lo stadio che sostituì il Ryavallen; la partita inaugurale nel nuovo impianto fu Elfsborg-Örgryte 1-0, valida per la seconda giornata.
L'Allsvenskan 2006 coincise con il ritorno al titolo di Campione di Svezia, il quinto nella storia del club, grazie al primo posto con un punto di scarto sulla seconda (l'AIK).
Il 31 marzo 2007 l'Elfsborg vinse anche la prima Supercoppa di Svezia, la cui prima edizione ebbe luogo proprio in quell'anno, battendo 1-0 l'Helsingborg.
Nel 2007 partecipò per la prima volta alla Champions League (in occasione del precedente titolo, nel 1961, le regole erano diverse tanto che a qualificarsi alla Coppa Campioni dell'epoca fu l'IFK Göteborg in qualità di prima classificata a stagione in corso, mentre il campionato svedese terminava a ottobre)[2]. Il cammino dell'Elfsborg nella competizione si interruppe al terzo turno preliminare, perso contro il Valencia per 3-0 all'andata e 2-1 al ritorno. Il club retrocedette quindi in Coppa UEFA. Qui l'avventura europea degli svedesi andò oltre le aspettative, visto che riuscirono a qualificarsi per la fase a gironi della competizione. I gialloneri giocarono nel girone C con Villarreal, Fiorentina, AEK Atene e Mladá Boleslav, arrivando ultimi.
Gli svedesi giocarono nuovamente in Europa League sia nel 2009-2010 che nel 2010-2011, trovando l'eliminazione ai play-off per mano di squadre italiane in entrambe le occasioni; nel primo caso persero 3-0 all'Olimpico contro la Lazio per poi trovare un'inutile vittoria per 1-0 tra le mura amiche, mentre l'anno seguente fu il Napoli di Walter Mazzarri a imporsi, con gol di Lavezzi al San Paolo e doppietta di Cavani al ritorno a Borås, per un complessivo 3-0.
Nel 2012 l'Elfsborg si laureò campione di Svezia per la sesta volta, chiudendo il campionato con 59 punti, due in più dell'Häcken. Questo trionfo permise al club di prendere parte alla fase a gironi di UEFA Europa League 2013-2014, venendo inserito nel gruppo C con RB Salisburgo, Esbjerg e Standard Liegi concluso con 4 punti conquistati, frutto di una vittoria e un pareggio contro i belgi. La squadra aggiunse poi al proprio palmarès la Coppa di Svezia 2013-2014.
Tra il 2013 e il 2014, l'ambiente giallonero visse il dramma del tecnico Klas Ingesson – ex centrocampista visto per anni nella Serie A italiana – costretto prima ad allenare in sedia a rotelle e poi a lasciare l'incarico a causa di un mieloma multiplo[3] che lo portò alla morte nell'ottobre 2014 a pochi giorni dalle sue dimissioni.
A due quarti posti (2014 e 2015) e un quinto posto (2016), seguirono tre piazzamenti di centro o centro-bassa classifica. Nel 2020, tuttavia, la formazione di Borås centrò il secondo posto, anche se a 9 punti dalla vetta.
Dopo un 4° posto nel 2021 e un 6° nel 2022, nel 2023 la grande occasione di tornare a vincere l'Allsvenskan dopo 11 anni. A due giornate dalla fine i gialloneri hanno due punti di vantaggio sul Malmoe , che alla penultima giornata perde in trasferta. L'Elfsborg avrebbe l'occasione per chiuedere i giochi, ma non va oltre il pareggio 2-2 (raggiunto al 95') contro il Degerfors (che con questo risultato retrocederà nella categoria inferiore). Nell'ultima partita la sfida col Malmoe che si trova a -3. Basterebbe un pareggio. La sconfitta premierebbe la ex squadra di Ibrahimovic, per via della differenza reti. Il Malmoe vince 1-0, una partita molto sentita sugli spalti. L'intervallo durerà addirittura più di un'ora, per cercare di ripristinare l'ordine in seguito a risse e lanci di fumogeni tra le due tifoserie.
Strutture
Stadio
La Borås Arena, che ospita le partite interne, ha una capacità di 17.800 spettatori contro i 19.100 del precedente stadio, il Ryavallen.
