Er war der Sohn des Weinbauern Jean-Baptiste Stumpf und der Marie Ange Willmann. Er wuchs in einfachen Verhältnissen auf und besuchte die Sekundärschule des Collège de Colmar, später das Priesterseminar (Petit Seminaire) in Lachapelle und anschließend das Grand Séminaire de Strasbourg und wurde 1847 durch Gaspard Mermillod und Joseph Georg von Ehrler in Straßburg zum Priester geweiht.
1853 folgte er seinem spiritus rector, Professor Burg, und verließ als Spiritaner die Diözese. Im gleichen Jahr wurde er Lehrer am Séminaire des Colonies in Paris. Ein Jahr später wurde er von seinen Vorgesetzten als Direktor für Studien im französischen Seminar in Rom eingesetzt, im Jahre 1859 wurde er Leiter dieses Seminars.
1864 wurde er auf Anfrage des Bischofs nach Straßburg zurückberufen, inkardiniert und übernahm die Leitung des Grand Séminaire. 1876 wurde er Generalvikar und war insbesondere zuständig für Fragen der Ausbildung. Er bemühte sich, die Situation nach der Schließung der katholischen Mittelschulen und der kleinen Seminare infolge des Kulturkampfes zu beheben. Er erwies sich dabei als geschickter Verhandler und erreichte nach und nach die Wiedereröffnung dieser Einrichtungen und in einigen Fällen ihre Anerkennung als klassische Gymnasien.
Wegen der zunehmenden Querelen um die etwa 120 als Simultankirchen[1] genutzten Kirchengebäude der Reformierten Kirche von Elsass und Lothringen und der Kirche A.B. von Elsass und Lothringen gründete Stumpf 1884 das Œuvre des églises mixtes, einen Kirchenbaufonds, um Gelder für den Bau katholischer Kirchen zu sammeln, die die simultane Nutzung protestantischer Kirchen erübrigen würde.[2] Stumpfs Nachfolger Fritzen, der sich für diese Sache sehr einsetzte, konnte so die Zahl der katholischen Pfarrkirchen stark erhöhen und bis 1914 simultane Nutzungen protestantischer Kirchen auf 64 Fälle reduzieren.[2]
Ein Lieblingsprojekt Stumpfs waren Ankauf und Umgestaltung der Burg Egisheim mit dem Bau der St.-Leo-IX.-Kapelle in seinem Heimatort.
↑Auf Anordnung Ludwigs XIV. von 1684 müssen alle lutherischen und reformierten Kirchengemeinden den Chor ihrer Kirchengebäude für katholische Messen zur Verfügung stellen, wenn in ihrem Pfarrbezirk keine katholische Kirche besteht, aber mindestens sieben katholische Familien ansässig sind. Im 21. Jahrhundert sind dadurch noch um die 50 protestantische Kirchen im Elsass und dem Moseldépartement als Simultankirchen in Nutzung.
