Incardiné au diocèse, il est successivement : vicaire à la paroisse d’Élancourt-Maurepas (1991-1996), responsable diocésain pour la pastorale des jeunes (1996-1998) où parallèlement à partir de 1995 il devient conseiller religieux du secteur Yvelines-Ouest de l'association des guides et scouts d'Europe[4]. Il est ensuite curé de la paroisse Sainte-Bernadette de Versailles de 1998 à 2003, puis vicaire épiscopal chargé de la formation jusqu'en 2004.
Fin 2003, Éric Aumonier lui demande d'être le vicaire général du diocèse, fonction qu'il accepte le 13 novembre 2003[8] ; il le reste jusqu'à sa nomination d'évêque. En tant que vicaire général du diocèse, il devient donc le bras droit de Aumonier.
Il est également vicaire épiscopal pour les doyennés de Versailles (2005-2014) et du Vésinet (2010-2014)[9].
Olivier Leborgne est ainsi nommé évêque d'Amiens le 20 février 2014 par le pape François[14],[15]. Sa consécration épiscopale est présidée par son métropolitain Thierry Jordan[16], archevêque de Reims, assisté de Jean-Luc Bouilleret, son prédécesseur, et de Éric Aumonier son ancien évêque. Elle se déroule le 6 avril 2014 à 15h30 en la cathédrale d'Amiens en présence de 4 500 personnes[16], où il prend ainsi possession de son siège. Il choisit comme devise épiscopale « Serviteur, à cause de Jésus » tiré du deuxième épître aux Corinthiens, dans l'optique d'affermir l'union au Christ[17].
Le jour de sa consécration épiscopale, les fidèles d'Amiens, pour l'accueillir, lui font don de plusieurs présents. Parmi eux, le maire de Fleury, agriculteur, lui offre un obus de la Première Guerre mondiale qu'il a déterré en labourant son champ et qui symbolise la « terre de souffrances » qu'a été l'Artois au XXe siècle. L'obus, laissé dans la sacristie, entraîne deux jours plus tard un plan déminage et l'évacuation de la cathédrale, à la suite de sa découverte par un guide[18].
Le jeudi 15 mai suivant, Olivier Leborgne pose la première pierre de la nouvelle maison diocésaine Saint-Firmin, qui est la fusion de l'évêché, du centre diocésain et du centre spirituel Saint-François-de-Sales dans l'ancien monastère de la Visitation d'Amiens, projet lancé par son prédécesseur Jean-Luc Bouilleret[19].
Olivier Leborgne avait choisi à son arrivée de maintenir le père Jean-Paul Gusching comme vicaire général du diocèse, mais à la suite de la nomination de celui-ci par le pape François comme nouvel évêque de Verdun[20], il nomme donc pour la rentrée 2014 le père Jean-Louis Brunel alors vicaire épiscopal[21] comme son nouveau vicaire général[22]. Il participe comme co-consécrateur auprès de Jean-Luc Bouilleret à l'ordination de Jean-Paul Gusching, le 21 septembre 2014.
En la fête de la Saint-Firmin en 2015, il promulgue sa première lettre pastorale « Laissez jaillir l'esprit », où il annonce pour 2017 un synode diocésain afin d'envisager l'avenir, notamment sur une réorganisation du diocèse[23].
Dans un entretien en janvier 2016, il explique ses objectifs et sa méthode pour le diocèse. Partant du constat de pauvreté du département, il explique chercher dans chacune de ses visites pastorales ce que peut faire chaque personne pour les encourager dans le lancement de nouveaux projets ; il image cet exemple du feu qu'on allume et qui irradie[24].
Au cours de la réunion plénière de la Conférence des évêques de France de mars 2017, il est élu président de la commission épiscopale pour la catéchèse et le catéchuménat pour un mandat de trois ans[25]. Deux ans plus tard, il est élu vice-président de la CEF[26].
Évêque d'Arras
Son installation a eu lieu le 25 octobre 2020 en la cathédrale d'Arras[2],[27]. En décembre 2022, Olivier Leborgne, est chargé par Rome de l'enquête préliminaire qui décidera d'un éventuel procès canonique à l’encontre de Michel Santier, évêque émérite de Créteil, accusé d’abus sexuels.