Zimmermann speelde in de jeugd van FC Engers maar maakte zijn profdebuut voor FC Bayern München in 1972 en werd met de club in 1973 en 1974 landskampioen. In 1974 maakte hij de overstap naar 1. FC Köln waar hij meer dan 200 wedstrijden voor speelde. Met hen won hij een landskampioenschap in 1978 en won drie keer de beker in 1977, 1978 en 1983.