Négy gyermek közül a legfiatalabbként született egy szerény családból. 1935-ben Versailles-ba költöztek. Ferrat a Jules Ferry College-ban tanult. 1942-ben orosz származású édesapját – akit 1928-ban honosítottak − a sárga csillag viselésére kényszerítették, a nyár folyamán letartóztatták, majd szeptember 30-án Auschwitzba deportálták, ahol meggyilkolták.
Ferrat először szerelmes dalokat komponált, amelyekkel az 1950-es évek közepén a párizsiCabaret La Colombe-ban lépett fel, mások mellett az őt felfedező Zizi Jeanmaire énekesnőnek is. Híve lett a Francia Kommunista Pártnak, de nem volt tagja. Felvételein politikai dalok mellett szerelmes dalok is szerepelnek. Ahogy Georges Brassens dalait sem, a túl merésznek és túl kritikusnak ítélt dalait évekig nem sugározta a francia rádió.
Ferrat kevésbé kritikus problémákkal is foglalkozott. A „La Montagne” című dal ötmillió példányban kelt el.
1972-ben a nagy siker ellenére befejezte aktív színpadi pályafutását, de utódra talált Alain Hivert énekesnőben, aki dalait Franciaországban mutatta be. Németországban a német-belga énekes, Didier Caesar adta elő dalait.
Jean Ferrat 2010 márciusában hunyt el rákban. Temetésén − amelyet több francia tévécsatorna élőben közvetített − több mint 5000 ember vett részt Franciaország minden részéről.