Le , il épouse Anne Cochrane, fille du 4e comte de Dundonald, et ils ont un enfant, James (1724-1758), futur 6e duc de Hamilton. Un mois plus tard, Anne meurt des suites de son accouchement. Hamilton épouse Elizabeth Strangways. Elle meurt sans enfant le . Il épouse ensuite Anne Spencer le et ils ont trois enfants:
Hamilton est décédé en 1743, à l'âge de 40 ans à Bath des suites d'un ictère et d'une paralysie. Sa veuve se remarie à Richard Savage Nassau et a trois autres enfants.