Klubben grundades 1899 under namnet Riverside AFC. Tre år senare gick klubben samman med Riverside Albion FC och 1908 fick klubben sitt nuvarande namn.
Klubbens ligaplaceringar från och med 1920.
1920 gick Cardiff med i The Football League och fick börja i Division 2. Man gick upp till högstadivisionen Division 1 redan första säsongen och därefter påbörjades klubbens storhetstid. Under 1920-talet kom Cardiff bland annat tvåa i Division 1 säsongen 1923/24, endast slagna i målskillnad av Huddersfield Town, och klubben nådde final i FA-cupen både 1925 (förlust mot Sheffield United) och 1927 (seger mot Arsenal). Cardiff är den enda walesiska klubb som har vunnit FA-cupen.
Efter framgångarna åkte Cardiff snabbt ned i Division 3, där man var fram till andra världskriget. På 1950- och 1960-talet var klubben tillbaka i högstadivisionen, men i slutet av 1980-talet åkte man för första gången ned i Division 4. I slutet av 1990-talet var Cardiff flera gånger nära att åka ur The Football League, men klarade sig kvar. Därefter påbörjades en klättring i seriesystemet. Cardiff tog sig även till FA-cupfinal 2008, men förlorade mot Portsmouth.
2010 var Cardiff nära att kvalificera sig till Premier League, men då de förlorade den avgörande matchen mot Blackpool med 3–2 fick de stanna kvar i The Championship. Säsongen 2012/13 vann klubben The Championship och spelade därför 2013/14 i Premier League, men slutade väl där sist under sin första säsong i Premier League. Klubben gick upp till Premier League för andra gången till säsongen 2018/19 efter en andraplats i Championship. Cardiff slutade på 18:e plats i Premier League 2018/2019 och blev åter nedflyttade till Championship.
