Karierę polityczną Graham rozpoczął w 1780 r., kiedy to został wybrany do Izby Gmin jako reprezentant okręgu Richmond. Od 1784 r. reprezentował okręg wyborczy Great Bedwyn. Sprzeciwiał się uchwaleniu ustawy o Indiach projektu Charlesa Jamesa Foksa w 1783 r. W 1789 r. zgłosił kandydaturę Henry’ego Addingtona na stanowisko speakera Izby Gmin. Często poruszał sprawy szkockie. Doprowadził do zniesienia zakazu noszenia kiltu przez mieszkańców szkockich Wyżyn[2]. Po śmierci ojca w 1790 r. James odziedziczył tytuł 3. księcia Montrose i zasiadł w Izbie Lordów.
W 1783 r. został lordem skarbu. W latach 1789–1790 był wiceprzewodniczącym Zarządu Handlu, a w latach 1789–1791 płacmistrzem armii. W latach 1790–1795 i 1807–1821 był koniuszym królewskim. W latach 1791–1803 był komisarzem ds. Indii. Od 1795 r. sprawował stanowisko Lord Justice General, najwyższego urzędnika szkockiego sądownictwa. W latach 1804–1806 był członkiem gabinetu jako przewodniczący Zarządu Handlu. W latach 1821–1827 i 1828–1830 był Lordem Szambelanem.
Książę Montrose został w 1793 r. odznaczony Orderem Ostu. W 1812 r. otrzymał Order Podwiązki. Od 1780 r. był kanclerzem Uniwersytetu Glasgow. W latach 1790–1793 był Lordem Namiestnikiem Hutingdonshire. Był także Lordem Namiestnikiem Stirlingshire (1795–1836) i Dumbartonshire (1813–1836). Zmarł w 1836 r. Tytuł parowski odziedziczył jego najstarszy syn, James.
