Herzog spillede i årene mellem 1988 og 2003 hele 103 kampe for Østrigs landshold, hvori han scorede 26 mål. Dette giver ham rekorden for flest spillede kampe i det østrigske landsholds historie. Han repræsenterede sit land ved både VM i 1990 i Italien samt VM i 1998 i Frankrig.