Adlerz gab sein olympisches Debüt bei den Olympischen Spielen 1908 in London, bei denen das schwedische Team die Wassersprungwettbewerbe dominierte. Der erst 16-jährige Adlerz konnte sich gegen die starke Konkurrenz aus dem eigenen Land jedoch nicht durchsetzen und kam nicht über die Vorkämpfe hinaus.
Vier Jahre später bei den Olympischen Spielen in seinem Heimatland trug er sich dann dauerhaft in die Annalen des Schwimmsports ein. Ihm gelang es, die schwedische Dominanz fortzuführen und er entschied beide Wettbewerbe im Turmspringen für sich. Seine weitere Karriere wurde durch den Ersten Weltkrieg, der die Absage der Olympischen Spiele 1916 nach sich zog, behindert.
Bei den Olympischen Spielen 1920 in Antwerpen, den ersten nach Kriegsende, holte er eine weitere Silbermedaille im Turmspringen (5 m und 10 m). Im einfachen Springen (3 m und 10 m) belegte er hinter drei seiner schwedischen Teamkollegen den vierten Platz. Seinen letzten Auftritt bei Olympischen Spielen hatte er bei den Olympischen Spielen 1924 in Paris, wo er vom Turm nochmals einen vierten Platz erreichte.