Après la guerre, rentré en Palestine, il rejoignit la Haganah, formation militaire juive, au sein de laquelle il participa à la lutte pour l'indépendance contre la puissance mandataire britannique. Lorsque fut proclamée l'indépendance d'Israël, en 1948, Herzog demeura dans l'armée du nouvel État. De 1954 à 1962, il dirigea le service de renseignements militaires.
Revenu à la vie civile, il devint journaliste à la radio, se faisant connaître par ses analyses militaires et politiques, notamment à l'occasion de la guerre des Six Jours, en 1967, et de la guerre du Kippour, en 1973. En 1975, il fut nommé ambassadeur d'Israël auprès des Nations unies. À ce poste, il dénonça la définition du Sionisme, adoptée par l'Assemblée générale de l'organisation, assimilant cette doctrine au racisme. Il justifia également l'intervention d'Israël, en 1976, pour libérer les Juifs retenus en otage par des terroristes en Ouganda. Son livre, Les Guerres israélo-arabes (1982) connut un grand succès. En 1981, il fut élu député travailliste au Parlement israélien, la Knesset.