Hamilton wurde in Winchester und Oxford ausgebildet. Ab 1743 war er Ehrendoktor der University of Oxford. 1755 wurde er als Ritter in den Distelorden aufgenommen. Er starb 33-jährig an den Folgen einer Erkältung, die er sich auf der Jagd zuzog.
James heiratete die berühmte Schönheit Elizabeth Gunning, später Baroness Hamilton of Hameldon (1733–1790), Tochter des Colonel John Gunning, die sich nach dem frühen Tod ihres Mannes in zweiter Ehe 1759 mit John Campbell, 5. Duke of Argyll vermählte. James Hamilton hatte mit ihr drei Kinder:
