Anthon Olsen spillede som ungdomsspiller for flere københavnske klubber; Hermod, Freja, ØB og B.93, men spillede alle seniorfodbold for B.93. Han debuterede for klubben som 16-årig, og spillede den sidste kamp som 38-årig. Han spillede alle tre kampe ved OL-turneringen i 1912 og scorede syv mål i turneringen, og han var derfor stærkt medvirkende til, at landsholdet vandt olympiske sølvmedaljer. Efter OL i 1912 scorede han seks mål i fem landskampe frem til september 1915, og dermed scorede han i alt 13 mål i otte landskampe.
Sammen med B.93 vandt Anthon Olsen det danske mesterskab i 1916, efter at han i finalen have scoret to mål i 3-2 sejren over KB. I sine sidste otte landskampe scorede han kun ét mål. Han afsluttede sin landsholdskarriere i 1927, efter at han samme år have vundet sit andet danske mesterskab med B.93. Anthon Olsen er stadig den spiller i B.93 som har scoret flest mål. I løbet af sine 23 sæsoner som klubbens centerforward – fra 1905-06 til 1927-28 – scorede han 268 mål i 227 kampe.
Olsen var fast mand på B.93’s crickethold i en menneskealder, med debut i 1911. Han var i cricketspilleudvalget fra 1914-46 og han opnåede otte kampe for KBU. Han var medlem af KBU’s spilleudvalg i 20 år og kasserer i B.93 1947-53.
Han spillede 150 kampe og scorede over 2.300 point, 1 century.
