Alors qu'il aurait dû entrer au gouvernement en octobre 1983[5], il devient secrétaire d'État auprès du ministre du Commerce, Michel Crépeau, en 1984, puis brièvement ministre du Commerce, de l'Artisanat et du Tourisme en 1986. À la fin du gouvernement Laurent Fabius, il devient porte-parole de Jean-Pierre Chevènement au sein du courant « Socialisme et République » en 1987. Mais, en 1991, il fait partie des partisans les plus affirmés de l'engagement de la France aux côtés des Américains dans la guerre du Golfe, ce qui le conduit à une rupture orageuse et définitive avec Jean-Pierre Chevènement.
Depuis la fin des années 1990, il se fait l'apôtre d'une rénovation blairiste du Parti socialiste, dénonçant les « archaïsme[s] d'une partie du Parti socialiste »[6]. En 2001, il fonde ainsi le club « Gauche moderne » et rend un rapport sur les moyens de simplifier la création d'entreprises. Il présente une motion en ce sens au congrès du Mans en 2005[7] ; sa motion recueille 0,65 % des voix. Il est alors membre du Bureau national du Parti socialiste. Il avait déjà déposé une contribution générale « Pour un socialisme moderne » au congrès de Dijon en 2003.
Aux élections législatives de , il est battu par la candidate UMPArlette Grosskost. Le , il est élu sénateur du Haut-Rhin. Il continue pendant le même temps ses appels à la rénovation du PS : en , il annonce la création du courant Réformisme et Rénovation pour continuer la réflexion issue de sa motion présentée au congrès du Mans. Le , il signe un appel de soutien à l'investiture socialiste de Dominique Strauss-Kahn à l'élection présidentielle de 2007, en compagnie de 15 autres sénateurs, de 8 députés et de 2 députés européens. Après l'investiture de Ségolène Royal pour l'élection présidentielle de 2007, il prend la direction du comité de soutien à Ségolène Royal dans le Haut-Rhin. D'une sensibilité politique minoritaire dans son parti, il entretient des relations avec François Bayrou depuis plusieurs années[9].
Après l'élection du président de la RépubliqueNicolas Sarkozy et la victoire de la droite aux élections législatives de 2007, il accepte, au nom de l'ouverture demandée par le président de la République, sa nomination en tant que secrétaire d'État chargé de la Coopération et de la Francophonie auprès du ministre des Affaires étrangères du gouvernement Fillon (2), le . Exclu du PS, il déclare alors[10] : « Ça fait dix ans que j'œuvre, que je milite sans grand succès pour la modernisation du PS, pour y prôner en tout cas des idées davantage sociales-libérales, blairistes, des idées qui peut-être nous auraient permis d'ailleurs de gagner la présidentielle si on avait su davantage les défendre ».
Le , il crée La Gauche moderne, mouvement libéral de centre gauche. La Gauche moderne s'allie avec la majorité présidentielle lors des élections municipales de 2008[11]. Sa liste d'union La Gauche moderne-UMP-Nouveau Centre-MoDem l'emporte de peu le lors du second tour de l'élection municipale de 2008 à Mulhouse, avec seulement 168 voix d'avance sur la liste PS dirigée par son ancien adjoint municipal Pierre Freyburger[12].
Alors qu'il est chargé de la Coopération, il demande publiquement le au président, conformément aux promesses de celui-ci, d'accentuer la fin de la Françafrique[13].
Le , il passe du secrétariat d'État à la Défense et aux Anciens combattants au secrétariat d'État à la Justice. Quatre mois après la fondation de Mulhouse Alsace Agglomération (M2A), dont il est président, il démissionne de son mandat de maire de Mulhouse en , tout en restant conseiller municipal ; son premier adjoint, l'UMP Jean Rottner, lui succède à la mairie[18]. Jean-Marie Bockel occupe ses fonctions ministérielles jusqu'au , date à laquelle il n'est pas reconduit dans le troisième gouvernement Fillon. Après son départ du gouvernement, il retrouve son mandat de sénateur ; il siège au groupe RDSE puis UCR à partir de 2011.
Le , il dépose, au nom de la commission des Affaires étrangères, de la Défense et des Forces armées du Sénat, un rapport intitulé « La cyberdéfense : un enjeu mondial, une priorité nationale », qui préconise le renforcement de la protection et de la défense des systèmes d'information au plus haut niveau de l'État et une véritable stratégie de l'Union européenne[21].
Il est président de La Gauche moderne jusqu'en [23].
En , il affirme n'avoir jamais quitté l'UDI et en être toujours membre[24].
Il ne se représente pas aux élections sénatoriales de 2020. Embauché par le cabinet de conseil en communication Tilder, il préside par ailleurs bénévolement l'association Solidarité-Défense, qui vient en aide aux militaires blessés[3].
Le 6 février 2024, Jean-Marie Bockel est nommé « envoyé personnel » d’Emmanuel Macron en Afrique[25].
En novembre 2024, Jean-Marie Bockel remet au président Emmanuel Macron, un rapport sur la reconfiguration du dispositif militaire français en Afrique. Le rapport prône un partenariat « renouvelé » et « reconstruit » avec les pays africains[26].
Prises de position
Jean-Marie Bockel était perçu comme incarnant l'aile droite ou sociale-libérale du Parti socialiste. Il ne cache pas sa sympathie pour les méthodes du travailliste Tony Blair et se déclare lui-même social-libéral. Il estime que le socialisme et le libéralisme peuvent se fondre pour mieux s’accomplir. Il définit ainsi sa doctrine politique :
« Oui, nous sommes des socialistes libéraux. Socialistes, car nous devons opposer aux rapports de force et à l’injustice, la nécessité d’une émancipation partagée. Car nous nous donnons pour fin la justice et la protection sociale, la réduction des inégalités et la promotion des solidarités. Car nous travaillons au partage des biens et des droits à l’échelle du continent et du monde. Socialistes, car nous défendons l’esprit public, ce qui fait société. Car nous soutenons le principe d’une action collective et volontariste. »
« Libéraux, car nous comprenons l’émancipation comme accès à la liberté. Nous défendons la liberté et la responsabilité individuelle, l’autonomie de la société civile, la délimitation de la souveraineté de l’État. L’émancipation doit être le fruit des libertés mises en commun : réunies par le débat et la négociation contractuelle, réglées par les normes du droit et l’exercice de la justice. »
Fervent défenseur du blairisme, il se déclare « blairiste, plus que jamais » en 2006[27]. Il a traduit l'expression la Troisième Voie (The Third Way) / le Nouveau Centre (Die neue Mitte) du manifeste Blair/Schröder en « Troisième Gauche », en référence au clivage entre Première et Deuxième Gauches françaises établi par Michel Rocard.
Il est considéré comme un maire « sécuritaire de gauche »[28] pour l'accent qu'il a mis sur la lutte contre la délinquance à Mulhouse. Il approuve plusieurs mesures du ministre de l'Intérieur Sarkozy[9].
Son élection au Sénat le 28 septembre 2014 sous l'étiquette UDI après sa participation aux gouvernements Fillon sous la présidence de Nicolas Sarkozy confirme son évolution politique.
Il appartient au conseil d'administration de l'Association des amis de l'Azerbaïdjan (AAA), considérée comme le principal instrument d'influence du régime d'Ilham Aliyev en France. L'organisation a deux buts affichés : mettre en valeur ce pays et contrebalancer l'influence de la diaspora arménienne, dont le pays d'origine est en guerre avec l'Azerbaïdjan depuis les années 1990[29].
Vie privée
Jean-Marie Bockel est marié avec Marie-Odile Mayer. Ils ont cinq enfants (Sarah, François, Pauline, Marie et Pierre-Emmanuel).