1759 knüpfte er eine Bindung zu Susanna Hoare (1732–1783), Witwe des Charles Boyle, Viscount Dungarvan (1729–1759, Heir apparent des 5. Earl of Cork), die offenbar erwidert wurde. Ihre offizielle Verlobung verzögerte sich aufgrund der bürokratischen Notwendigkeit mit deren Treuhändern Vereinbarungen über deren ererbtes Vermögen zu treffen. Als schließlich alle Dokumente vorlagen, änderte die Lady ihre Meinung und ging stattdessen eine Bindung mit Thomas Brudenell-Bruce, 2. Baron Bruce (1739–1814) ein, den sie 1761 heiratete. Der Duke of Somerset lebte in der Folgezeit zurückgezogen auf seinem Landsitz Bradley House in Maiden Bradley, Wiltshire, und blieb unverheiratet. Mangels eigener Söhne, fielen seine Adelstitel bei seinem Tod, 1792, an seinen nächstjüngeren Bruder Webb Seymour als 10. Duke of Somerset.
Literatur
H. St. Maur: Annals of the Seymours. Being a history of the Seymour family from early times to within a few years of the present. Kegan Paul, Trench, Trübner & Co., London 1903, S. 324–326 (archive.org).