Il fait ses études localement et puis rejoint la High School d'Édimbourg. Il étudie ensuite à l'université d'Édimbourg pour obtenir un diplôme général avant de suivre une formation de ministre de l'Église libre d'Écosse au New College d'Édimbourg. Il est ordonné à la Église libre St Enoch's de Dundee en 1866. En 1873, dans un geste assez rare, lui et sa congrégation quittent l'Église libre pour rejoindre l'Église d'Écosse[1].
Dans le domaine de la philosophie, son œuvre, éditoriale et autre, comprend sa collection de Philosophical Classics for English Readers (quinze volumes, 1880-90), dont il a rédigé certains textes. Bien qu'il ait écrit de nombreuses publications, il est probablement plus connu pour ses travaux sur William Wordsworth. Son édition Wordsworth's Works and Life (1881-89) est contenue dans onze volumes. Il offre aux administrateurs de l'ancienne maison du poète, Dove Cottage, toutes les éditions des poèmes de Wordsworth qu'il possède. Il correspond également avec Robert Browning au sujet d'Elizabeth Barrett Browning et, lors de sa retraite en 1905, il se rend au cimetière suisse de Florence, appelé cimetière anglais, pour planter la rose rouge sur sa tombe, qui fleurit toujours, en l'honneur de l'apprentissage des femmes, bien que la plaque émaillée célébrant cet acte ait été volée depuis[réf. nécessaire].