Il est né à Apsley Hall, Nottingham, le fils aîné d'Henry Willoughby (15 décembre 1780-1849) et de Charlotte Eyre (morte en 1845) et fait ses études au Collège d'Eton et Trinity College, Cambridge[1]. Il hérite du titre de baron Middleton en 1856, au décès de son cousin, Digby Willoughby (7e baron Middleton), décédé sans descendance légitime[2]. Il vit dans le siège de la famille Willoughby à Birdsall House, qu'il préfère à Wollaton Park, Nottinghamshire, le siège de la famille qu'il a hérité de son cousin.
Il est nommé colonel honoraire de la 1re brigade administrative des volontaires de l'artillerie du Yorkshire (East Riding) le 17 décembre 1862, et son fils Digby Willoughby (plus tard le 9e baron), ancien capitaine des Scots Fusilier Guards, est nommé deuxième major de la brigade le 30 juillet 1869. Le 9e baron commande ensuite l'unité en tant que lieutenant-colonel, devient à son tour le colonel honoraire le 29 mai 1879 et occupe le poste jusqu'au XXe siècle[2].
Alexandrina Henrietta Matilda Willoughby (c. 1845 - 11 décembre 1931), mariée le 3 février 1869 à Sir John Thorold 12ebaronnet Thorold
Godfrey Ernest Percival Willoughby, 10e baron Middleton (1847-1924)
Francis Henry Stirling Willoughby (13 août 1848 - 23 juin 1900)
Rothwell James Bosville Willoughby (26 mai 1850-1867)
Léopold Vincent Harold Willoughby (19 novembre 1851 - 22 mars 1924)
Hylda Maria Madeline Willoughby (c.1853 - 9 février 1944), mariée le 20 avril 1882 à William Henry Garforth (d. 1931) en 1882
Lettice Hermione Violet Willoughby (v. 1854 - 9 août 1922), mariée le 18 avril 1895 au colonel William Gordon Cumming (mort en 1908)
Leila Louisa Millicent Willoughby (c. 1856 - 24 février 1886), mariée le 10 février 1876 à Henry Charles Russell (mort en 1922)
Mairi Myrtle Willoughby (c. 1858 - 13 novembre 1900), mariée le 1er janvier 1880 à William Bethell (d. 1926)
Tatton Lane Fox Willoughby (29 décembre 1860 - 10 juillet 1947), marié le 18 juin 1898 à Esther Ann Strickland (décédée en 1940), fille de Sir Charles Strickland (8e baronnet)
Claude Henry Comaraich Willoughby (1862-1932), marié en 1904 à Sibyl Louise Murray (décédée en 1957)
Alexander Hugh Willoughby (18 septembre 1863 - 5 décembre 1927), marié en 1889 à Mary Selina Honoria Macdonald (décédée en 1925).