Smaïl Chergui a commencé sa carrière diplomatique en 1980 lorsqu'il a commencé au ministère algérien des Affaires étrangères. Il a d'abord travaillé à l'ambassade d'Algérie au Maroc, puis a rejoint le service de presse du ministère des Affaires étrangères puis est devenu président du cabinet du ministre des Affaires étrangères. De 1997 à 2004, Chergui a été nommé ambassadeur spécial de l'Algérie en Éthiopie, en Érythrée et à Djibouti. À ce titre, il a travaillé à la rédaction de l'Accord d'Alger signé en 2000 qui conclut l'armistice entre l'Éthiopie et l'Érythrée. En même temps, Chergui était déjà ambassadeur d'Algérie auprès de l'Union africaine et organisation prédécesseur de l'unité africaine. Après avoir terminé son mandat d'ambassadeur spécial, Chergui a rejoint le consulat général d'Algérie à Genève avant de devenir ambassadeur d'Algérie en Russie en 2008.
Le , Smail Chergui est élu commissaire à la paix et à la sécurité de l'Union africaine, réélu en . Il quitte son poste en mars 2021 pour devenir conseiller à la direction des relations extérieures et de la coopération internationale en Algérie[3].
