W wieku 15 lat zaciągnął się do 1 pułku pieszego Gwardii. Brał udział w bitwach pod Minden i Kirchdenken podczas wojny siedmioletniej. Już w 1756 r. został awansowany do rangi kapitana, zaś w 1758 r. został podpułkownikiem. W latach 1762–1763 był pułkownikiem 119 pułku pieszego, w latach 1765–1772 pułkownikiem 14 pułku dragonów, zaś w latach 1772–1797 pułkownikiem 3 pułku dragonów.
Karierę polityczną rozpoczął jako członek partii wigów. W latach 1759–1761 był członkiem Izby Gmin z okręgu Orford. W latach 1761–1774 zasiadał w parlamencie jako reprezentant okręgu Bury St Edmunds. W 1770 r. opuścił partię wigów i przyłączył się do torysów. Z ich ramienia zasiadał w Izbie Gmin po wyborach 1774 r. jako deputowany okręgu Thetford. W 1780 r. otrzymał tytuł 1. barona Southampton i zasiadł w Izbie Lordów. W 1783 r. ponownie odmienił swoje sympatie polityczne i powrócił do partii wigów, której pozostał wierny aż do śmierci.
Southampton był również wiceszambelanem królowej Charlotty w latach 1768–1780, zaś w latach 1780–1797 wiceszambelanem księcia Walii.
27 lipca 1758 r. poślubił Anne Warren (1742 – 13 lipca 1807), córkę admirałaPetera Warrena. Charles i Anne mieli razem siedmiu synów i cztery córki:
Louisa FitzRoy, żona Jamesa Allena, nie miała dzieci
generał Charles FitzRoy (5 września 1762 – 18 października 1831), kochanek księżniczki Amelii (córki Jerzego III), miał z nią nieślubnego syna, Hugh Huntly’ego
William FitzRoy (21 lipca 1764 – 28 sierpnia 1786)
Henry FitzRoy (13 września 1765 – 19 marca 1794), ożenił się z lady Anne Wellesley i miał z nią córkę, Georgianę Fredericę FitzRoy, żonę 7. księcia Beaufort
generał-porucznik William FitzRoy (12 grudnia 1773 – 19 maja 1837), ożenił się z Catherine Clarke i Elisabeth FitzRoy (córką 3. księcia Grafton), miał dzieci
Georgiana FitzRoy (1792 – 6 lutego 1835), żona generała-majora Williama Posonby’ego, miała dzieci
