Il devient 5e baron Ashburton, d'Ashburton, Devon, le 18 juillet 1889 et prend son siège à la Chambre des lords. Il obtient le grade de major au service du Hampshire Yeomanry (Carabiniers)[2].
Le 25 juillet 1889, il épouse Mabel Edith Hood[4], à l'église de St. George, rue de St. George, place de Hanover, Londres, Angleterre. Mabel est la fille aînée de Francis Hood, 4e vicomte Hood et d'Edith Lydia Drummond Ward. Avant sa mort, ils sont les parents de quatre filles et d'un fils[2]:
Venetia Marjorie Mabel Baring (1890–1937), demoiselle d'honneur de la reine Mary.
Aurea Versa Baring (1891-1975), qui épouse le major Charles Balfour, petit-fils de Mark McDonnell, 5e comte d'Antrim
Après la mort de sa première femme en 1904, il épouse l'actrice américaine Frances Donnelly, dont le nom de scène est «Frances Belmont», le 19 février 1906. Frances, l'un des sextuor originaux "Florodora " de 1901, est une fille de James Caryll Donnelly de New York[5].
L'un des plus grands plaisanciers de Grande-Bretagne, Lord Ashburton est mort d'une crise cardiaque à bord du RMS Queen Mary le 27 mars 1938[3].
↑Peter W. Hammond, editor, The Complete Peerage or a History of the House of Lords and All its Members From the Earliest Times, Volume XIV: Addenda & Corrigenda (Stroud, Gloucestershire, U.K.: Sutton Publishing, 1998), page 42
↑ a et b« BARON ASHBURTON DIES WHILE AT SEA; Noted Yachtsman -Succumbs to Heart Attack on Way From New York to England LADY ASHBURTON WITH HIM He Belonged to Baring Family of Bankers-Ancestor Signed the Ashburton Treaty », The New York Times, (lire en ligne, consulté le )