Perceval si sposò due volte: la prima volta con Lady Catherine Cecil, (m. 1752), la seconda con Catherine Compton. Ebbe in tutto otto figlie e otto figli. Uno dei figli, nato dal secondo matrimonio, Spencer Perceval, fu Primo Ministro del Regno Unito. Il secondo duca si spense a Londra all'età di cinquantanove anni.
Il monte Egmont, in Nuova Zelanda, fu chiamato così in onore del secondo conte di Egmont da James Cook, che aveva ricevuto da lui incoraggiamenti, anche finanziari, per intraprendere i suoi viaggi di esplorazione.
