Baumgarten war zunächst als Pfarrvikar der PfarreiSaint-Paul in Roanne tätig, bevor er 2005 Pfarrer der Pfarrei Notre-Dame des Côteaux du Levant in Balbigny und Kaplan am Krankenhaus in Roanne wurde. Von 2012 bis 2014 war er Pfarrer der Pfarrei Sacré-Cœur in Lyon und Bischofsvikar für den Osten der Stadt Lyon. Danach wirkte Yves Baumgarten als Generalvikar des Erzbistums Lyon und Moderator der Diözesankurie. Ab 2020 war er Verantwortlicher für die Pfarreien in Pouilly-sous-Charlieu.[1]