Il est ensuite nommé ambassadeur en Australie (1982-1985), en Inde (1985-1987) et au Maroc (1987-1991). De 1991 à 1995, il est l'ambassadeur représentant permanent de la France au Conseil de sécurité des Nations unies. Il est nommé ambassadeur en Italie, en remplacement de Jean-Louis Lucet, par décret du . Il est remplacé par Jacques Blot, par décret du .
Il est élevé à la dignité d'ambassadeur de France par décret du et demande sa mise à la retraite anticipée en .
Représentant permanent de la France auprès du Conseil de sécurité pendant quatre ans et demi, Jean-Bernard Mérimée a joué un rôle important dans trois situations devant le Conseil de sécurité à cette époque concernant l'Irak, le génocide rwandais et le conflit des Balkans.
Relations avec l'Irak
En application de la résolution 986 (1995) adoptée à l'unanimité par le Conseil de sécurité de l'ONU le , Jean-Bernard Mérimée a été chargé de négocier avec Tarek Aziz, vice-président irakien, le mécanisme instaurant une sorte de troc « Pétrole contre nourriture » qui, d'après les chiffres de l'ONU, aurait sauvé la vie de centaines de milliers de femmes et d'enfants irakiens.
Rwanda
Jean-Bernard Mérimée, Représentant permanent de la France, propose au vote du Conseil de sécurité la résolution autorisant la France à envoyer des troupes pour sécuriser une partie du territoire rwandais. Ce sera l'« Opération Turquoise ».
Le , à la veille du début du génocide, la France est seule au Conseil de sécurité à soutenir explicitement la participation au gouvernement rwandais de transition de la Coalition pour la défense de la République (CDR), un parti extrémiste Hutu appelant ouvertement à l’extermination des Tutsi.
Balkans
S'agissant de la guerre des Balkans, Jean-Bernard Mérimée, Représentant permanent de la France, vote la résolution imposant pour la première fois des sanctions à la Serbie.
Après qu'il a quitté le Ministère des affaires étrangères français, en , le Secrétaire général de l'ONU Kofi Annan, nomme Jean-Bernard Mérimée Secrétaire général adjoint chargé des relations entre l'ONU et la Communauté européenne, fonction qu'il a exercée jusqu'en 2003.
Affaire « Pétrole contre nourriture »
Après avoir quitté la fonction publique (1999), Jean-Bernard Mérimée accepte de devenir conseiller d'Othman Benjelloun, président de la Banque marocaine du commerce extérieur. C'est en cette qualité qu'il se rend à Bagdad pour négocier la dette du gouvernement irakien envers la BMCE, par le moyen d'allocations de pétrole.
Mis en examen et inculpé pour trafic d'influence et corruption de fonctionnaires irakiens, il est relaxé avec ses onze co-prévenus par jugement du tribunal de grande instance de Paris du .
.svg){kind=small}
