Herrmann dorastał na Górnym Śląsku, po polskiej stronie granicy. Treningi rozpoczął w katowickim Dębie (gdzie grał już jego starszy brat Antoni), w 1934 roku został piłkarzem 1. FC Kattowitz. W czasie wojennym był także zawodnikiem Kickers Offenbach. Jako żołnierz Wehrmachtu trafił do alianckiej niewoli.
W 1947 został piłkarzem FSV Frankfurt. Do 1960 zagrał w tym klubie 320 spotkań i strzelił 100 goli. Uchodzi za najwybitniejszego piłkarza FSV w historii. Po zakończeniu aktywnej kariery został trenerem FSV 02 Seckbach.
W reprezentacji Niemiec debiutował 22 listopada1950 w meczu ze Szwajcarią. Do 1954 rozegrał w kadrze 8 spotkań i strzelił 1 bramkę. Ostatnim jego spotkaniem był przegrany 3:8 mecz grupowy z Węgrami. Był to jego jedyny występ na MŚ 54 (strzelił jedną z trzech bramek dla Niemiec), ale dał mu tytuł mistrza świata.
Zmarł na marskość wątroby. Spoczywa na cmentarzu w dzielnicy Frankfurtu - Bornheim.
„Górnoślązacy w polskiej i niemieckiej reprezentacji narodowej w piłce nożnej – wczoraj i dziś. Sport i polityka na Górnym Śląsku w XX wieku”, wyd. Dom Współpracy Polsko-Niemieckiej (Haus der Deutsch-Polnischen Zusammenarbeit), Gliwice-Opole 2006, ISBN 83-60470-02-2.