I VM 1962 vant han gull i storslalåm og bronse i utfor. To år senere kronet han karrieren ved å ta gullmedaljen i utforrennet i OL 1964 i Innsbruck. Han ble østerriksk mester i utfor i 1966. Zimmermann, som var utdannet kokk, var eier av hotellet Kristberg i Lech.[3]
Han ble i 1963 første mottaker av prisen Skieur d’Or.[4]
Han var i mange år gift med Charlotta von Klingspor, en kusine til Sveriges konge Carl XIV Gustaf.[5]