Smith nacque a Irthington, vicino Carlisle (Cumberland). Figlio di un giardiniere della famiglia Gilpin[1]. Studiò arte sotto la guida del pittore di animali Sawrey Gilpin.[2]
Divenne famoso come disegnatore di topografie e ottenne l'autorizzazione, da George Greville, II conte di Warwick, a viaggiare in l'Italia fra il 1776 e il 1781.[1] Assunse lo pseudonimo di "Warwick" o "Italian".[1]
Morì a Londra, il 22 marzo 1831, e fu sepolto nel cimitero di St George, in Uxbridge Road.[1]