Pochodzi z rodziny o tradycjach politycznych, jego ojciec był m.in. wiceministrem rolnictwa. Jean-Pierre Raffarin studiował prawo na Université Panthéon-Assas i ekonomię w ESCP w Paryżu. Pracę zawodową rozpoczął w branży marketingowej.
W działalność publiczną zaangażował się jako zwolennik nurtu politycznego, który wyznaczał Valéry Giscard d’Estaing. Był jednym z liderów wspierającej go organizacji młodzieżowej. Przystąpił później do centrowej Partii Republikańskiej, która współtworzyła federacyjną Unię na rzecz Demokracji Francuskiej. W 1977 po raz pierwszy został radnym miejskim Poitiers, funkcję tę pełnił do 1995. W 1986 uzyskał mandat radnego regionu Poitou-Charentes, od 1988 do 2002 kierował jego radą regionalną, później przez dwa lata był jej wiceprzewodniczącym. W samorządzie zajmował też stanowisko zastępcy meraChasseneuil-du-Poitou (1995–2001).
W 1995 po raz pierwszy wybrano go w skład Senatu. W trakcie wyborów prezydenckich w tym samym roku poparł kandydaturę Jacques’a Chiraca. Wziął w tym samym czasie udział w powołaniu Partii Ludowej na rzecz Demokracji Francuskiej, ugrupowania działającego w ramach UDF i skupiającego zwolenników nowego prezydenta. Po zwycięstwie Jacques’a Chiraca objął stanowisko ministra ds. średniej i małej przedsiębiorczości, handlu i przemysłu morskiego w rządzie Alaina Juppé. Funkcję tę pełnił do 1997, w tym samym roku powrócił do sprawowania mandatu senatora.
W 2003 zaproponował reformę systemu rentowo-emerytalnego, co spowodowało falę strajków społecznych na ulicach wielkich miast. W tym samym roku był także krytykowany za uznawaną za opóźnioną reakcję władz na falę niespotykanych upałów. W 2004 UMP znacząco przegrała wybory regionalne, wkrótce też wchodząca w skład tzw. większości prezydenckiej Unia na rzecz Demokracji Francuskiej zapowiedziała wyjście z koalicji. 30 marca 2004 Jean-Pierre Raffarin sformował swój trzeci rząd, w którym odwołano ministrów obwinianych za poprzednie błędy. Podał się do dymisji po odrzuceniu w referendum projektu traktatu ustanawiającego Konstytucję dla Europy, przeprowadzonym w dniu 29 maja 2005. Po przyjęciu tej rezygnacji na stanowisku premiera zastąpił go Dominique de Villepin.
W tym samym roku Jean-Pierre Raffarin kolejny raz został wybrany w skład Senatu, uzyskując reelekcję w 2014. W 2007 objął funkcję pierwszego wiceprzewodniczącego Unii na rzecz Ruchu Ludowego. W 2008 ubiegał się o nominację swojej partii na stanowisko przewodniczącego Senatu, jednak przegrał z Gérardem Larcherem[2].