1945-ben csatlakozott az Ifjú szocialistákhoz (Jeunesses socialistes). A katolikus keresztény kultúra iránti tisztelete kiváltotta a maroknyi trockista ellenszenvét. Ennek hatására jött rá arra, hogy a szocialista eszmerendszert össze kell kapcsolni a dogmákat nem ismerő humanista elvekkel. 1949 és 1958 között az Ifjú szocialisták országos főtitkára volt. Szakközépiskolai tanári diplomát szerzett, először műszaki tárgyakat, majd irodalmat és történelmet tanított szakiskolákban. 1952-ben részt vett Franciaország egyik legfontosabb népnevelő mozgalmának az alapításában.
Politikai karrierje
A Második Internacionálé francia szekciójában először Nord megye titkáraként működött, 1963-ban csatlakozott a párt országos irodájához és központi bizottságához. 1966–69 között főtitkárhelyettesi funkciót töltött be. 1967 és 1973 között Nord megye tanácsának elnökhelyettese, 1973-tól parlamenti képviselője volt. 1973-tól Lillepolgármestere, 2001-ben Martine Aubry vette át a város vezetését.
Mauroy központi szerepet játszott a francia baloldal egyesítésében. 1971-ben indult a szocialista formációkat egyesítő épiney-i kongresszusi választáson, de elegendő szavazat hiányában visszalépett, és François Mitterrand kerülhetett a Szocialista Párt élére. 1981-ben Mauroy volt Mitterrand választási kampányának szóvivője. Mitterrand elnök megválasztása után Mauroy-t nevezte ki miniszterelnökké, aki 1981. július 8-i beszédében Jean Jaurès nyomán kifejtette, hogy „mi (a szocialisták) jelöljük ki a fejlődés irányát, mechanizmusát. A mi feladatunk, hogy végre az emberek szolgálatába állítsuk. Haladnunk kell az eszményi felé, és megérteni a valóságot”. A munkanélküliség visszaszorítása lett a kormány elsődleges feladata. A hatékonyság érdekében költségvetési szigort és infláció elleni intézkedéseket jelentett be.
1983-ban
Második kormányába meghívott négy kommunista minisztert a közlekedésügy, a közigazgatás, az egészségügy és a szakképzés élére. Mitterrand választási kampányának ígéreteit igyekezett megvalósítani (39 órás munkahét, a 4 hetes fizetett szabadság egy héttel történő meghosszabbítása, a tisztviselők és közalkalmazottak számának növelése, a közigazgatási rendszer decentralizációja, államosítás, a vagyonra kivetett szolidaritási adó, a halálbüntetés eltörlése). Kormányzása idején 345 törvénytervezetet szavaztak meg a nemzetgyűlésben, az Ötödik Köztársaság legaktívabb kormányát vezette. A pragmatikus Mauroy makroökonómiai politikáját a körülményekhez igazította. Sokáig a Mitterrand-nak annyira kedves gazdaságpolitikát folytatta, amely a belföldi fogyasztással igyekezett fellendíteni a gazdasági növekedést, de rájött ennek az erőltetett keynesianizmusnak a korlátaira. Kétszer is leértékelték a frankot, Mitterrand-nak azt tanácsolták, hogy lépjen ki Franciaország az Európai monetáris rendszerből, amit Mauroy ellenzett és egyben felajánlotta lemondását. Az elnök elfogadta Mauroy érvelését és 1983-ban megkezdődtek a nagy megszorítások. Javaslata, a vallástól független egységes oktatás bevezetése a magán és állami iskolák összevonásával heves tüntetéseket váltott ki az országban. Ezért Mitterrand 1984. július 17-én Laurent Fabiust nevezte ki a kormány élére, Mauroy pedig visszatért Lille polgármesteri székébe.
1988 májusában a Szocialista Párt első titkárává választották, annak ellenére, hogy Mitterrand Fabiust támogatta. 1992–1999 között a Szocialista Internacionálét vezette. 1992 és 2011 között Nord megyét képviselte a francia szenátusban. Szintén 1992-ben létrehozta a Jean Jaurès Alapítványt, amelynek elnöki tisztségét is betöltötte.
Halála után, 2013. június 21-én Lille-ben labdarúgó-stadiont neveztek el róla.