De 1981 à 1986, il dirige la fédération nationale du Crédit mutuel agricole et rural (CMAR) à Paris et de 1990 à 1993, le groupe CAPFOR (conseil en développement d’entreprises et ressources humaines).
Fin 2007, il participe à la création du MoDem de François Bayrou dont il est vice-président et membre du shadow cabinet, responsable des affaires sociales, du travail et des retraites.
Il est réélu en 2008 maire d'Arras avec 51,24 % des voix au premier tour avec le ralliement d'un ancien conseiller municipal communiste et deux adhérents du parti socialiste à Arras. Le , il démissionne de ce mandat au profit de son successeur Frédéric Leturque. Il est réélu président de la communauté urbaine d'Arras le et en démissionne en 2011.
Il se réclame, au Sénat, de la majorité de Gérard Larcher (LR), le président du Sénat, bien qu’il ait soutenu Emmanuel Macron en 2017 et en 2022[5]. Âgé de 84 ans lors des élections sénatoriales de 2023, il est le doyen des 1 829 candidats. Réélu pour un quatrième mandat, il voit sa fille, Isabelle Florennes, être également élue sénatrice pour le MoDem sur la liste conduite par Hervé Marseille dans les Hauts-de-Seine[5].