Il est élu député de Herefordshire lors des élections générales de 1747, alors qu'il n'a que 20 ans. Avant les élections, Lord Foley écrit au père de Harley: "Comme il est mineur, je crains fort de lui jouer un tour le jour de l'élection ... ce qui, s'il devait se produire, serait de conséquence la plus néfaste pour votre famille ainsi que pour l'intérêt du comté "[4].
Il est réélu sans opposition et siège au conseil du trésor jusqu'en 1755, quand il hérite de son père, notamment le siège familial de Brampton Bryan Hall. Il est haut commissaire de Hereford à partir de 1755, Lord de la chambre à coucher en 1760 et Lord Lieutenant du Radnorshire de 1766 jusqu'à sa mort. Il est également administrateur au British Museum de 1755 jusqu'à sa mort[4].
En 1751, il épouse l'héritière Susannah Archer, fille de William Archer (homme politique), qui apporte une dot de 50 000 £. Il est décédé à Brampton Bryan Hall à l'âge de 64 ans. Comme il n'a pas d'enfants, ses titres et domaines passent à son neveu Edward Harley (5e comte d'Oxford)[2].
↑(en) Edmund Burke, Dodsley's Annual Register or a View of the History, Politics and Literature for the Year 1790, J. Dodsley, (lire en ligne), p. 244
↑ a et b(en) John Burke, A General and Heraldic Dictionary of the Peerage and Baronetage of the British Empire, H. Colburn and R. Bentley, (lire en ligne), p. 275
↑(en) Arthur Collins, The Peerage of England: Containing a Genealogical and Historical Account of All the Peers of that Kingdom, W. Strahan, J. F and C. Rivington, (lire en ligne), p. 266