Il épouse Catherine Greville, fille de Fulke Greville, 5e baron Brooke de Beauchamps Court et Sarah Dashwood. Il n'a pas d'héritier masculin. Il est décédé le . Son cousin, Baptiste Noel (3e comte de Gainsborough), fils de Baptist Noel et Susannah Fanshawe, fille de Thomas Fanshawe, lui succède.