Era figlio dei conti Eugène e Sofia de Ségur. In giovinezza si dedicò alla pittura ed ebbe un discreto successo come artista. Destinato alla carriera diplomatica, fu avviato agli studi giuridici e nel 1842 fu inviato come addetto d'ambasciata a Roma.
Fin dalla giovinezza fu attivo nella società San Vincenzo di Federico Ozanam. Entrò ventiduenne nel seminario parigino di Saint-Sulpice e il 18 dicembre 1847 fu ordinato sacerdote: dal 1852 al 1856 soggiornò a Roma, dove fu uditore di Rota e confidente di papa Pio IX.
Ebbe il titolo di protonotario apostolico e canonico di Saint-Denis. A causa di problemi alla vista rinunciò all'episcopato e tornò in Francia, dove promosse numerose associazioni religiose e devote; fu autore di libri e opuscoli apologetici e devozionali, nonché riguardanti questioni sociali e di politica ecclesiastica.
Promosse e preparò il primo Congresso eucaristico internazionale, celebrato a Lilla nel 1881, ma morì poco prima.
Le sue opere furono raccolte in 10 volumi pubblicati a Parigi tra il 1876 e il 1877.