Eksjö mainitaan käräjäpaikkana ensimmäisen kerran 1300-luvulla. Tuolloin paikan nimenä oli "Ekesiö". Eksjön kautta kulki tie pohjoisessa Linköpingissä ja etelässä Växjössä ja Kalmarissa olevien piispanistuimien välillä. Samoin Eksjön kautta kulki tie Länsi-GötanmaaltaItämeren rannikolle. Paikasta tuli luonnollinen kokoontumispaikka kaupalle ja käräjäasioille. Kuningas Eerik Pommerilainen antoi Eksjölle kaupunginoikeudet vuonna 1403. Vuonna 1856 tulipalo tuhosi puolet kaupungista.
Eksjöstä tuli varhain varuskunta- ja virkamieskaupunki. Eksjön sotilaalliset perinteet ulottuvat 1400-luvun loppuun, jolloin Ränneslättin aluetta alettiin käyttää sotilaiden tapaamis- ja harjoittelupaikkana. Sotilasjoukot harjoittelivat 1600-luvun lopusta lähtien kaupungin ulkopuolella. Vuonna 1686 Kuninkaallinen Smålandin ratsuväkirykmentti (ruots.Kungliga Smålands kavalleriregemente) sidottiin kiinteämmin Eksjöhön. Useat rykmentit ovat tämän jälkeen sijainneet Eksjössä.
Kun husaarirykmentti (ruots.Husarregementet) ja myöhemmin Kalmarin rykmentti sijoitettiin kasarmeihin Eksjössä, kaupunki alkoi kasvaa voimakkaasti. Nykyään Eksjön varuskunta koostuu neljästä eri toimijasta. Varuskunta on Eksjön kolmanneksi suurin työnantaja noin 500 työntekijällään.
Muuta
Kaupungin keskiosissa 65 % rakennuskannasta on vuotta 1900 edeltävältä ajalta. Koko Ruotsin rakennuskannasta vain 6 % on rakennettu ennen vuotta 1900.
Kaupungissa kiertävän jutun mukaan Eksjö oli hyvin lähellä saada Södra stambanan -rautatien kulkemaan kaupungin halki. Sanotaan, että rautatie aiottiin aluksi vetää Eksjön läpi, mutta yksi talonpoika kunnan pohjoisosassa kieltäytyi antamasta maataan rautatien rakentamista varten. Niinpä vuonna 1864 Södra stambanan päätettiin vetää kaupungista 18 kilometriä länteenpäin. Sinne perustettiin rautatieasema, jonka nimi on Nässjö.
