Jerome werd geboren in Walsall, in het toenmalige graafschap Staffordshire. Hij bezocht de Marylebone Grammar School, maar begon al op 14-jarige leeftijd te werken als klerk bij de spoorwegen. Later werd hij onderwijzer, acteur en journalist. Hij trouwde in 1888 en kreeg een dochter. In 1893 richtte hij het weekblad 'Today' op. Tijdens de Eerste Wereldoorlog diende hij als ambulancechauffeur in Frankrijk.
In 1888 publiceerde hij zijn eerste boek, On Stage and Off. Een jaar daarna had hij veel succes met The Idle Thoughts of an Idle Fellow, en met zijn bekendste boek, Three Men in a Boat (1889), waarin hij op onnavolgbare wijze, met vele terzijdes, de belevenissen beschrijft van drie vrienden die een boottochtje maken op de Theems. Dit boek vond een vervolg in Three Men on the Bummel, waarin dezelfde drie vrienden een tocht door Duitsland ondernemen.