W 1885 r. został wybrany do Izby Gmin jako reprezentant okręgu Leeds Central. Początkowo zasiadał w parlamentarnej komisji pracy, następnie zaś został prywatnym sekretarzem swojego brata Arthura. W 1895 r. objął stanowisko Głównego Sekretarza Irlandii. W 1900 r. został członkiem gabinetu jako przewodniczący Zarządu Handlu. W 1905 r. został na krótko przewodniczącym Rady Samorządu Lokalnego. Od 1895 r. był członkiem irlandzkiej Tajnej Rady, a od 1905 r. Tajnej Rady Wielkiej Brytanii. Stanowiska rządowe utracił po upadku konserwatywnego gabinetu w grudniu 1905 r. Z miejsca w Izbie Gmin zrezygnował rok później.
Po zakończeniu kariery politycznej Balfour został przewodniczącym Komisji Zarządu Latarniami Morskimi (1908). Reprezentował również Uniwersytet Cambridge w Komisji Uniwersytetów Oksford i Cambridge. Był honorowym doktorem prawa Uniwersytetu Cambridge i członkiem Trinity College. Po śmierci swojego starszego brata w 1930 r., na mocy specjalnego zezwolenia królewskiego, odziedziczył tytuł 2. hrabiego Balfour i zasiadł w Izbie Lordów.