Il épouse en 1833 Amélie Greffulhe (1812 - Paris, 8 mars 1902), fille de Jean-Henry-Louis Greffulhe, comte Greffulhe, banquier, pair de France, et de Marie Françoise de Vintimille du Luc.
Juliette de Ségur (Paris, 19 mai 1835 - château de Combreux, 27 septembre 1905), mariée à Paris le 21 avril 1853 avec Roger de La Rochefoucauld, duc d'Estissac (1826-1889), dont postérité ;
Louis-Philippe-Charles de Ségur, conseiller général et député de Seine et Marne (Paris, 22 décembre 1838 - Paris, 9 février 1924), marié à Paris le 6 mars 1866 avec Marie-Thérèse Casimir-Périer (1844 - 1916), sœur de Jean Casimir-Périer, président de la République française en 1894-1895, sans descendance.