Gros se narodil v Paříži jako syn Jeana-Antoina Grose (1745–1831), malíře miniatur, rytce, obchodníka s uměním a sběratele umění z Toulouse, a malířky Pierrette-Madeleine-Cécile Durandové (1745–1831), sestry malíře miniatur a kreslíře Antoina Duranda. Od šesti let se učil malovat a kreslit pod vedením svého otce i matky a kopírovat obrázky z otcovy sbírky. V roce 1785 se stal žákem Jacquesa Louise Davida, který mu dal dobrý řemeslný základ, naučil ho svému stylu a ovlivnil ho svými náměty, ale Grose vždy zajímala především dynamika vyobrazených postav a barevnost. Pokračoval ve studiu na Královské akademii umění. Po otcově bankrotu a smrti a po svém neúspěchu v soutěži o římské stipendium začal malovat portréty, aby se uživil. S Davidovou pomocí roku 1793 odcestoval na studijní pobyt do Itálie, kde se věnoval zejména studiu benátských mistrů a Petra Pavla Rubense.[1] Od nich převzal kolorit a uvolněný rukopis malby.
V roce 1796 se seznámil s tehdy mladým generálem Napoleonem Bonapartem, namaloval jeho heroický portrét, jak zvedá trikolóru v bitvě o Arcolský most. Napoleon si Grose oblíbil a jmenoval ho dvorním malířem. Gros namaloval na oslavu Napoleona pět monumentálních velkoformátových scén, portrétoval také členy jeho rodiny. Grosovy obrazy byly v tomto vrcholném stylovém období ceněny jako opak tehdy slavného Anna Louise Girodeta, který maloval takřka ledově strnulé, tvarově dokonalé, ale studené akty v Correggiově stylu. Většinou však nedosahoval kvalit slavného klasicistního portrétisty Jeana Augusta Dominiqua Ingrese.
Po návratu vlády Bourbonů se Gros pokusil znovu stát dvorním malířem, když roku 1817 portrétoval Ludvíka XVIII. a roku 1819 namaloval dramatickou scénu Nalodění vévodkyně z Angoulême v Pouillacu, na níž zachytil Marii Terezii Bourbonskou, dceru Ludvíka XVI. a Marie Antoinetty, a ministra de Montmorencyho na útěku před davem revolucionářů. Zůstal však bonapartistou a styl své malby obrátil zpět k Davidově škole klasicismu, v níž vyučoval po odchodu Jeana Louise Davida do exilu.
Svými pozdními obrazy gros zažíval mnohé neúspěchy, i když stále dostával velké zakázky. V letech 1824-1826 namaloval fresku v kupoli Panteonu. Při freskové výzdobě stropů galerie Karla X. v Louvru v letech 1824-1826 se musel vyrovnat s konkurencí J. D. Ingrese a Hoirace Verneta. Triumfy romantiků Théodora Géricaulta a Eugèna Delacroixe v žánru epických scén a jezdeckých portrétů kontrastovaly s úrovní jeho posledních obrazů. Když roku 1835 na Pařížském salónu vystavil obraz Heraklés a Diomeda a sklidil za něj kritiku, znamenalo to jeho definitivní pád.
Gros spáchal sebevraždu skokem do Seiny v roce 1835. V dopise na rozloučenou napsal, že je unaven životem a zrazen posledními zálibami, které jej činily snesitelným, a proto se rozhodl s ním skončit.[2] Zemřel bez dědiců, obrazy z jeho ateliéru byly vzápětí rozprodány a několik jich zůstává nezvěstných.