Adams vant en olympisk sølvmedalje i friidrett under OL 1912 i Stockholm. Han kom på andreplass i stille høyde med et hopp på 1,60 bak sin eldre bror Platt Adams som hoppet 3 centimeter høyere.[1] Det var det første brødreparet som vant gull og sølv i samme OL-øvelse, og det andre overhodet etter skytterne John Paine og Sumner Paine under OL 1896. Adams kom på tredjeplass i stille lengde bak grekeren Konstantinos Tsiklitiras og Platt Adams. Det var siste gangen som lengde og høyde uten tilløp var med på det olympiske programmet. Ben konkurrerte også oppvisningstuneringen for baseball for Sverige.[2]