Hervey avancerade till viceamiral och hade en väsentlig andel i intagandet av Havanna 1762. Han var förste sjölord 1771–1775. Hervey gifte sig 1744 med Elizabeth Chudleigh (1720–1788) men de skilde sig 1769, efter ett barnlöst äktenskap. Han blev känd som "den engelska Casanova ", med mängder av älskarinnor.