Urodził się w rodzinie z tradycjami aktorskimi i – pomimo początkowej niechęci – jako nastolatek rozpoczął statystowanie w sztukach teatralnych. Karierę rozpoczął na scenie Folies Bergère, a od początku lat trzydziestych zaczął pojawiać się na ekranie filmowym. Pierwsze filmy, w których występował Jean Gabin, ostro malowały czarne strony życia, wskazując na nie jako na przyczyny postępowania ludzi, nie zawsze złych z natury, choć często przywodzonych do zła przez biedę i przeciwności losu. Podobieństwo ról w filmach tzw. realizmu poetyckiego stworzyło złączoną z Gabinem postać fatalistycznego, cichego antybohatera, człowieka osamotnionego i zdeklasowanego, choć mocnego.
Przed wojną wystąpił w dwóch znaczących francuskich filmach: Towarzyszach broni (film znany na Zachodzie jako Wielkie złudzenia – La Grande Illusion) oraz w Ludziach za mgłą.
Po wojnie wrócił do filmu. Grał sporo, ale przyjmował jedynie role w ambitnych filmach. Odrzucił propozycję zagrania roli Jo w filmie Cena strachu. Sądził bowiem, że jego fani mogą źle odebrać to, iż gra tchórza (rolę ostatecznie przyjął Charles Vanel). Tworzył wiele różnorodnych postaci, z których najpopularniejszą stał się inspektor Maigret. Pomimo że jego nazwisko było rozpoznawane na świecie, nie zdecydował się już więcej wystąpić w hollywoodzkich produkcjach. Uważany jest za jednego z największych aktorów francuskich.
Był trzykrotnie żonaty: 1. Gaby Basset (1925–1930), 2. Suzanne Marguerite Jeanne Mauchain (1933–1939; rozwód), 3. Dominique Fournier (1949–1976; rozwód). Z trzecią żoną miał troje dzieci: Florence (ur. 1950), Valérie (ur. 1952) i Mathias (ur. 1956). Jego wieloletnią kochanką była Marlene Dietrich, która nazywała go „miłością swojego życia”. Jego pasją była hodowla rasowego bydła.
Zmarł na białaczkę w podparyskiej miejscowości Neuilly-sur-Seine. Jego ciało zostało skremowane i rozsypane z wojskowymi honorami do morza z okrętu „Détroyat”.
3 października 1998 Poczta Francuska wyemitowała znaczek pocztowy z jego wizerunkiem. Jego portret znalazł się również na znaczku pocztowym wyemitowanym przez Pocztę Niemiecką.
