Хаим родился в Белфасте в семье главного раввина Северной ИрландииИцхака Айзика Герцога. Бабушка и дедушка Хаима Герцога жили и похоронены в литовском городе Шедува[1]. Начал учёбу в дублинском Уэсли-колледже. В 1936 году отец Хаима был назначен главным раввином Палестины (бывшей на тот момент подмандатной британской территорией), и переехал туда со всей семьёй.
По окончании учёбы вступил в британскую армию, и воевал в её составе во время Второй мировой войны, пройдя все основные этапы боёв, включая высадку в Нормандии. В звании майора он командовал подразделением в гвардейской танковой дивизии. В начале 1945 года был переведен на службу в военную разведку, руководил разведкой в Северной Германии, принимал участие в освобождении ряда концлагерей. Руководил операцией по розыску и установлению личности рейхсфюрера СС Генриха Гиммлера[2]. После окончания войны также принимал участие в судебных процессах над нацистскими преступниками.
В 1945 году вернулся в Палестину и заново вступил в Хагану. Участвовал в создании армии будущего государства, и был среди основателей её разведывательной службы. Участвовал в Войне за независимость, в том числе в боях за Латрун[2].
В 1962 году покинул армию и затем стал одним из основателей юридической фирмы «Герцог, Фокс и Неэман».
С 1975 по 1978 год был израильским послом в ООН. Когда ООН объявила сионизм формой расизма, вышел на трибуну и демонстративно порвал документ с этим решением. Его речь по этому поводу на Генеральной Ассамблее ООН 10 ноября 1975 года включена в антологию лучших речей в истории человечества[3].
В 1983 году избран 6-м президентом Израиля. Старался не вмешиваться в политику и не пытался выйти за рамки своих полномочий. В 1988 году переизбран на второй срок.