Wykształcenie odebrał w Peebles Public School oraz George Heriot's School w Edynburgu. Przez krótki czas pracował w Ministerstwie Wojny, następnie został dziennikarzem. W 1906 r. wstąpił do Niezależnej Partii Pracy, a w 1913 r. został wybrany do rady miejskiej Edynburga. W 1915 r. uzyskał tytuł magistra na Uniwersytecie Edynburskim. W 1927 r. został honorowym doktorem praw tegoż uniwersytetu.
W latach 1918-1931 zasiadał w Izbie Gmin jako reprezentant okręgu Edinburgh Central. W pierwszym laburzystowskim rządzie w 1924 r. był finansowym sekretarzem skarbu. W latach 1929-1931 był przewodniczącym Zarządu Handlu. Od 1931 r. był wiceprzewodniczącym Partii Pracy. Od 1924 r. był również członkiem Tajnej Rady.
Graham był ponadto członkiem Królewskiej Komisji ds. Podatku Dochodowego w 1919 r. oraz członkiem Medical Research Council w latach 1920-1928.