Klubben grundades 1901 under namnet St Sidwell's United FC och bytte namn till Exeter City FC tre år senare.
Mellan 1908 och 1920 spelade Exeter City i Southern Football League. 1920 erbjöd The Football League Exeter City en plats när de utökade ligan med en Third Division i huvudsak baserad på de klubbar som tillhörde Southern Football League. Säsongen därpå delades Third Division upp i North och South Division. Under perioden 1921–1958, då dessa två regionala division tre-serier fanns i England, spelade Exeter City på grund av sitt geografiska läge alltid i den södra divisionen. Säsongen 1932/33 är klubbens främsta genom tiderna vad beträffar ligaplacering; den säsongen slutade man tvåa, fyra poäng efter divisionsmästarna Brentford. Eftersom endast mästarna blev uppflyttade fick Exeter City stanna kvar i Third Division South, vilket man gjorde ända fram till 1958, då de två regionala division tre-serierna delades upp i rikstäckande Third Division och Fourth Division. Säsongen 1957/58 slutade Exeter City sist i divisionen och kom därmed att ingå som en ursprunglig medlem av Fourth Division säsongen 1958/59.
Säsongen 1963/64 blev historisk för Exeter, en fjärdeplats i Fourth Division innebar klubbens första uppflyttning efter ligainträdet 1920. Redan efter två säsonger var man dock tillbaka i Fourth Division. Säsongen 1976/77 innebar en upprepning av bedriften från 1964 och Exeter promoverades åter till Third Division, denna gång som tabelltvåa. Nu följde klubbens hittills bästa period och tre säsonger i rad 1978/79–1980/81 slutade Exeter City på övre halvan i Third Division samtidigt som man 1980/81 nådde FA-cupens kvartsfinal och där förlorade mot de slutliga vinnarna Tottenham Hotspur. Sejouren i Third Division sträckte sig denna gång över sju säsonger och avslutades 1984 när Exeter kom 24:a och sist i divisionen.
1984–2008
Sex år senare, 1990, var klubben mogen för comeback i Third Division då man med hela tio poängs marginal blev mästare i Fourth Division, klubbens enda titel av någon dignitet genom tiderna. Efter fyra säsonger fick Exeter City åter tacka för sig i den högre divisionen och flyttades 1994 ned till ligans lägsta division, som efter Premier Leagues tillkomst nu bytt namn till Third Division. Det kan noteras att Fulham var en av de tre klubbar som blev nedflyttade tillsammans med Exeter. Klubbens första säsong i Third Division blev katastrofal och Exeter City slutade sist. Endast genom att Macclesfield Town, som kvalificerat sig för att ersätta dem, inte kunde möta ligans arenakrav fick Exeter chansen att spela vidare i Third Division.
Säsongen 2002/03 innebar slutet på Exeter Citys första ligaepok då man som första klubb någonsin blev automatiskt nedflyttad till Football Conference efter att ha slutat näst sist i dåvarande Third Division, motsvarigheten till dagens League Two. Tidigare hade endast klubben på sista plats rönt detta öde. Efter ligaplaceringarna sex-sex-sju under de tre första säsongerna blev man 2006/07 femma och kvalificerade sig sedan för den första playoffinalen för Football Conference på Wembley Stadium. Det blev förlust mot Morecambe med 1–2 inför drygt 40 000 åskådare. Säsongen därpå, 2007/08, tog sig Exeter åter till playoff genom att bli fyra i Conference Premier. I semifinalen avfärdades lokalrivalen Torquay United med sammanlagt 5–3 (1–2 borta och 4–1 hemma). I finalen ställdes Exeter sedan mot Cambridge United. Rob Edwards sköt med sitt mål i första halvlek, vilket blev matchens enda, Exeter City tillbaka till The Football League. Publiksiffran i finalen på Wembley var återigen över 40 000.
2008–
Återkomsten till The Football League gick fantastiskt bra och på våren 2009 hade Exeter kvalificerat sig för ett nytt avancemang efter att ha placerat sig som tvåa i League Twos sluttabell. Efter att säsongen 2009/10 slutat 18:e tangerade klubben 2010/11 sin bästa efterkrigsplacering i ligan (från 1979/80) genom att bli åtta i League One. Under Paul Tisdale, den tränare som klubben tillsatte sommaren 2006, hade klubben gått från klarhet till klarhet. Hans första stora motgång kom säsongen 2011/12 då Exeter inte alls räckte till och med slutplaceringen 23 i League One blev nedflyttade till League Two. Sommaren 2014 var Tisdale den tränare i det engelska ligasystemets fyra toppdivisioner som med sina drygt åtta år näst efter ArsenalsArsène Wenger suttit längst på sin post. Dessa två var då de enda som varit tränare i samma klubb längre än fem år.