Fils d'un pasteur anglican, il fait ses études à Tonbridge School puis au Corpus Christi College d'Oxford. Il refuse de devenir avocat et passe le concours d'entrée dans la fonction publique. Il est reçu premier, devant Sidney Webb second. Il rejoint le Colonial Office au printemps 1882.
Dans le même temps, il est engagé dans l'éducation populaire dans l'East End de Londres et dans l'action politique. Membre de la Land Reform Union, il y rencontre George Bernard Shaw en 1883. Avec celui-ci, il publie le mensuel Christian Socialist. Il découvre le positivisme et y voit un moyen de réforme morale du capitalisme. Avec son ami d'enfance Graham Wallas et Sidney Webb, il rejoint George Bernard Shaw à la Fabian society en . Il y partage la vision positiviste et morale d'Annie Besant avec qui il fonde en compagnie de Shaw et Hubert Bland, en la Fabian Parliamentary League destinée à faire élire des députés Fabiens.
Excellent orateur, il multiplie les conférences pour les Fabiens. En 1888, il écrit la partie intitulée « Capital and Land » des Fabian Essays in Socialism où il critique le système de propriété des terres.
La même année, avec Annie Besant, il organise la grève victorieuse des allumettières de Bryant and May dans l'East End de Londres.
En 1890, il est nommé Colonial Secretary au Honduras britannique puis en 1895 aux Îles du Vent (Antilles). En 1897, de retour à Londres, il devient Private Secretary du sous-secrétaire d’État du Colonial Office, Lord Selbourne, puis Secretary pour la West Indian Royal Commission. L'année suivante, il est à Washington pour des négociations concernant les colonies antillaises britanniques.
Il s'oppose à la seconde guerre des Boers qui est une des causes d'une scission dans la Fabian Society entre les opposants à la guerre dont Olivier et Ramsay MacDonald et les partisans d'une intervention civilisatrice comme Shaw ou Webb et la majorité du mouvement.
Son opposition à la guerre lui vaut des difficultés dans la haute administration, il est nommé en 1900 Colonial Secretary en Jamaïque puis gouverneur jusqu'en 1913. Il occupe ensuite divers postes dans la haute administration jusqu'à sa retraite en 1920.
En 1924, il est anobli, nommé Secretary of State for India du gouvernement MacDonald et membre du conseil privé. Sa nomination déçoit en Inde car il n'est pas partisan de l'indépendance du sous-continent. Il se prononce la même année contre une aide britannique à la toute jeune Union soviétique. Il n'est pas rappelé dans le second gouvernement MacDonald en 1929.
