Při svém prvním olympijském startu v Paříži v roce 1900 obsadil čtvrté místo v skoku vysokém, skoku o tyči a vrhu koulí, osmé místo v hodu diskem a dvanácté místo v skoku dalekém.
Na olympiádě v Londýně v roce 1908 byl poprvé zařazen mezi disciplíny hod oštěpem. Lemming ve finále zvítězil. Další zlato získal v soutěži v hodu oštěpem volným způsobem (freestyle). Startoval také ve vrhu koulí a hodu diskem. O čtyři roky později na olympijských hrách ve Stockholmu obhájil zlato v hodu oštěpem. Byl prvním oficiálním světovým rekordmanem v této disciplíně výkonem 62,32 m z roku 1912, už předtím přitom devětkrát vytvořil neoficiální nejlepší světový výkon.
