W 1841 r. został wybrany do Izby Gmin jako reprezentant okręgu Wilton, ale po kilku miesiącach zmarł jego ojciec i James, jako 3. hrabia Malmesbury, zasiadł w Izbie Lordów. W 1852 r. był ministrem spraw zagranicznych. Ponownie sprawował ten urząd w latach 1858–1859. Poparł zamach stanu księcia Ludwika Napoleona w 1852 r., który doprowadził do powstania II Cesarstwa. W wojnie francusko-austriackiej 1859 r. stanął jednak po stronie Austrii. W 1866 r. został Lordem Tajnej Pieczęci i pozostał nim do 1868 r. Ponownie pełnił tę funkcję w latach 1874–1876. W 1868 r. był również przewodniczącym Izby Lordów, a w latach 1868–1869 stał na czele Partii Konserwatywnej w izbie wyższej.
Lord Malmesbury wydał w 1884 r. swoje wspomnienia Memoirs of an Ex-Minister. Był również redaktorem Diaries and Correspondence, zbioru pism swojego dziadka, wydanego w 1844 r. W 1870 r. opublikował książkę The First Lord Malmesbury and His Friends.
Zmarł bezpotomnie w 1889 r. Tytuł parowski odziedziczył jego bratanek, Edward.
