Schäfer var en alsidig sportsmand, der både dyrkede hockey, fodbold, vandpolo og svømning, men det var i roning, han havde størst succes. Han roede oprindeligt både firer og otter, men i 1934 begyndte han at ro
singlesculler, og samme år blev han både tysk og europæisk mester i denne disciplin. I 1935 blev han nummer to ved de tyske mesterskaber efter Herbert Buhtz, men i 1936 blev rækkefølgen omvendt.[1]
Schäfer kom derfor til at repræsentere Tyskland ved OL 1936 i Berlin, og han vandt først sit indledende heat og derpå sin semifinale. Den anden semifinale blev imidlertid roet betydeligt hurtigere, og her var det forhåndsfavoritten, Ernst Rufli, der vandt. Rufli klarede sig imidlertid dårligt i finalen og blev blot nummer fem, mens Schäfer vandt en komfortabel sejr, mere end fire sekunder foran østrigeren Josef Hasenöhrl på andenpladsen, mens amerikaneren Dan Barrow sikrede sig bronze.[2] Schäfers guldmedalje var den første tyske i den olympiske historie i en sculler.[1]
Han indstillede sin rokarriere efter OL, og senere samme år var han medstifter af det tyske olympiske selskab. Under anden verdenskrig blev han taget som krigsfange af de sovjetiske styrker og sad i krigsfangelejr til 1947.[1]
