De in Amiens geboren Gaumont nam op 19-jarige leeftijd deel aan de Olympische Spelen van 1992 in Barcelona. Hij won hier een bronzen medaille op de ploegentijdrit over 102,8 km. Het Franse team finishte in 2:05.25 en werd alleen overtroffen door Duitsland (2:01.39) en Italië (2:02.39). Sinds 1994 was hij prof en hij brak na twee anonieme jaren door in 1996 met de eindzeges in de Vierdaagse van Duinkerke en de Ronde van de Oise. Een jaar later bevestigde Gaumont met winst in Gent-Wevelgem. Hij behaalde nog een aantal ereplaatsen en won een etappe in de Midi Libre.
Doping
Zowel in 1996 als in 1998 testte Gaumont positief op het gebruik van nandrolon. In 1999 werden er sporen van amfetaminen in zijn lichaam gevonden. In 1999 kwam Gaumont opnieuw in opspraak wegens vermeend gebruik van doping, samen met zijn vriend en toenmalig ploeggenoot Frank Vandenbroucke. Om die reden werd hij door de organisatie niet toegelaten tot de Ronde van Frankrijk in 1999. Dopinggebruik kon echter niet aangetoond worden en Gaumont mocht blijven bij zijn ploeg Cofidis, waarvoor hij sinds 1997 reed.
De volgende jaren leverde weinig opvallende resultaten op. In de Ronde van Vlaanderen editie 1999, een doorregende editie gewonnen door Peter Van Petegem, kwam hij zwaar ten val en brak zijn pols op de Paddestraat. Zijn achterwiel slipte vrij plotseling, toen hij met zijn beste vriend en Cofidis-kopman Frank Vandenbroucke aan de leiding reed. Een schijnbaar eenvoudige bocht die wegens de val de 'Gaumont-bocht' wordt genoemd.[2][3] Gaumont werd in 2000 vijfde op de Olympische Spelen van Sydney bij de ploegenachtervolging. Hij kwam verder nog het meest in het nieuws toen hij tijdens Parijs-Roubaix van 2001 zijn dijbeen brak na een tweede zware val in het Bos van Wallers-Arenberg.
Begin 2004 kwam Gaumont opnieuw in opspraak wegens vermeend dopinggebruik binnen zijn ploeg, onder meer samen met ploeggenoot David Millar. Ditmaal bekende hij, werd hij door zijn ploeg ontslagen en beëindigde zijn carrière. Meest opmerkelijk van zijn bekentenis is dat hij ook het gebruik van epo bekende.[4]
Boek
Gaumont zag zichzelf vooral als slachtoffer van gestructureerd dopinggebruik in de wielersport. In juni 2005 schreef hij een boek over zijn verleden als wielrenner, getiteld Prisonnier du dopage ('gevangene van doping'). Hierin heeft hij ronduit over doping. Hij beschreef onder meer dopingmethodes, maskeermethodes en hoe de geldnood renners aanzette tot het gebruik van doping. Ook noemde hij diverse collega's met naam en toenaam.
Na zijn sportieve loopbaan runde hij een café in Amiens en later een frituur in Lens.
Overlijden
Op 23 april 2013 werd Gaumont getroffen door een zware hartaanval en raakte vervolgens in coma.[5] Op 13 mei werd bekend dat hij hersendood was.[6] Gaumont overleed vier dagen later op 40-jarige leeftijd in een ziekenhuis te Arras.
