Pochodził z rodziny o tradycjach wojskowych i patriotycznych. Ojciec Louis Philippe de Ségur, był francuskim historykiem i dyplomatą. Dziadek Philippe-Henri de Ségur był marszałkiem Francji i ministrem do spraw wojny. Pradziadek François Henri de Ségur był porucznikiem i generalnym inspektorem kawalerii i dragonów francuskich.
25 września 1806 ożenił się z Antoinette Charlotte le Gendre de Luçay (ur. 1787, zm. 1813) i doczekał się z nią trojga dzieci:
Paula Charlesa Louisa, hrabiego Ségur (ur. 1809, zm. 1886), męża Jeanne Josephine Amélie Greffulhe (córki jego macochy z jej pierwszego małżeństwa), ojca:
Juliette de Ségur (ur. 1835, zm. 1905), żony Rogera de La Rochefoucauld, księcia Estissac
Louisa Philippe'a de Ségur (ur. 1838, zm. 1924), męża Marie-Thérèse Périer
Marie Charlotte Antoinette de Ségur (ur. 1810, zm. 1883), żony Guya Charlesa Oscara du Val, markiza Bonneval
Napoléona Louisa Octave'a de Ségur (ur. 1811, zm. 1832)
Po raz drugi ożenił się w 1826 w Paryżu. Jego drugą żoną została Marie Françoise Louise Célestine de Vintimille de Luc (ur. 1787, zm. 1862), poprzednio żona Jeana, hrabiego Greffulhe. Doczekał się z nią dwóch córek:
Célestine de Ségur (ur. 1830, zm. 1918), żony Louisa de La Forest d' Armaillé
Marie-Louise de Ségur (ur. 1832, zm. 1867), żony Louisa François Hectora, hrabiego de Galard de Saldebru
Bibliografia
Philippe Paul deP.P.SégurPhilippe Paul deP.P., Pamiętniki Filipa Pawła de Ségura adiutanta Napoleona, EligiaE.Bąkowska (oprac.), EmiliaE.Leszczyńska (tłum.), Warszawa: MON, 1987, ISBN 83-11-07438-0, OCLC749443236. Brak numerów stron w książce