Nacque una ricca famiglia di commercianti: suo padre, Dominique Eugène, fu viceconsole di Spagna a Bordeaux e nel 1789 ottenne per la sua famiglia l'ammissione alla nobiltà francese. François ricevette la prima educazione dagli Oratoriani di Condom e proseguì la sua formazione presso il Collège de l'Esquille di Tolosa, dove studiò filosofia.
Sua figlia Teresa fu una delle protagoniste della vita mondana francese della fine del Settecento: sposò il marchese di Fontenay, poi Tallien, membro della Convenzione, quindi il conte di Caraman poi fatto principe di Chimay.
