Bittner indledte sin rokarriere i ATV Ditmarsia Kiel, og han blev i 1959 vesttysk mester og europamester i otter i den såkaldte Ratzeburger-båd, der omfattede roere fra både Ratzeburger RC og ATV Ditmarsia. Han var igen med til at blive vesttysk mester i otteren i 1960, hvor han desuden var med i Ratzeburger-bådene, der blev mestre i firer med styrmand og firer uden styrmand.[1][2][3]
Otteren repræsenterede det fællestyske hold ved OL 1960 i Rom, hvor USA var storfavorit, idet de havde vundet samtlige de olympiske finaler, de havde deltaget i indtil da. Tyskernes EM-vindere fra 1959 var blandt de både, der blev set som mulige konkurrenter til OL-titlen, og tyskerne mødte op med et nyt åredesign. I indledende heat vandt de da også sikkert, hvorpå de vandt finalen i ny olympisk rekord foran Canada og Tjekkoslovakiet, mens USA meget overraskenede måtte nøjes med en femteplads. Besætningen bestod foruden Bittner af Manfred Rulffs, brødrene Frank og Kraft Schepke, Karl-Heinrich von Groddeck, Karl-Heinz Hopp, Walter Schröder, Hans Lenk og styrmandWilli Padge.[4] Han modtog senere samme år sammen med resten af otterbesætningen Vesttysklands fineste sportspris, Silbernes Lorbeerblatt.[3]
I 1961 blev han vesttysk og europæisk mester i firer med styrmand med en besætning bestående af Ditmarsia-roere, og i 1963 blev han europamester i firer uden styrmand med en Ratzeburg-båd.[2] I 1964 var han tilbage i Ratzeburg-otteren, der blev vesttysk og europæisk mester med flere nye roere i forhold til OL i 1960; en del af disse havde dog været med til at vinde det første verdensmesterskab i 1962 (dog ikke Bittner).[3] Samme båd var med ved OL 1964 i Tokyo, hvor USA sammen med tyskerne igen var favoritter. De to både mødte hinanden i indledende heat, hvor tyskerne satte ny olympisk rekord og akkurat holdt amerikanerne bag sig, som så måtte ud i opsamlingsheat. I finalen var amerikanerne imidlertid overlegne og vandt med mere end fem sekunder, mens tyskerne blev nummer to og Tjekkoslovakiet nummer tre. Tyskernes besætning bestod denne gang foruden Bittner af Klaus Aeffke, Karl-Heinrich von Groddeck, Hans-Jürgen Wallbrecht, Klaus Behrens, Jürgen Schröder, Jürgen Plagemann, Horst Meyer og styrmand Thomas Ahrens.[5]