Klubben har sitt ursprung i amatörklubben Bristol South End FC, grundad 1894. 1897 beslutade sig klubben för att satsa på professionell fotboll och bytte namn till Bristol City FC. De gick med i Southern Football League under några säsonger, men ansökte sedan om medlemskap i The Football League där de blev invalda 1901. De var vid denna tid en av ytterst få klubbar från södra England i ligan. 1906 gick de upp i första divisionen och säsongen därpå slutade de sensationellt på en andra plats i tabellen efter Newcastle United, vilket är klubbens bästa placering någonsin. 1909 nådde de även final i FA-cupen där det blev förlust mot Manchester United.
Dessa framgångar höll dock inte i sig, utan 1911 åkte de ur Division 1 och under de följande 65 åren pendlade de mellan Division 2 och Division 3. 1976 lyckades de gå upp i högsta divisionen igen och nådde tre år senare sin bästa placering med en 13:e plats. Men inte heller denna gång blev tiden som Division 1-klubb lång. 1980 degraderades de till Division 2, klubben drabbades av stora ekonomiska problem och två år senare hade de rasat ända ner till Division 4. Det var första gången i The Football Leagues historia som en klubb blivit nedflyttad tre säsonger i följd.
Bristol lyckades dock vända trenden med uppflyttning till Division 3 1984 och till Division 2 1990. Säsongen 1998/99 gjorde klubben en ettårig sejour i näst högsta serien. Efter ytterligare åtta säsonger i tredjedivisionen blev det 2007 åter uppflyttning till den näst högsta divisionen The Championship. Säsongen 2007/08 nådde Bristol sin bästa ligaplacering på många år genom att bli fyra och kvalificerade sig även för playoff-finalen till Premier League på Wembley, men förlorade den mot Hull City med 0-1. Efter en kort sejour i League One spelar klubben sedan 2015 åter i The Championship.
Rivalitet
Av tradition är Bristol Rovers de största rivalerna. The Bristol Derby går tillbaka till 1897 och totalt har de mötts 105 gånger med 43 vinster för Bristol City. Eftersom de inte har spelat i samma division sedan säsongen 2000/01 ses dock numera Cardiff City som klubbens främsta rivaler med för det mesta årliga möten i The Championship.