Hertz' moder var den kendte salmedigterinde Birgitte Boye, og sønnens digteriske begavelse er muligvis en arv efter hende. Efter et vildt studenterliv blev Hertz omsider teologisk kandidat og præst, og i de første ti år af sin nye værdighed udarbejdede han et monstrum af et digt, "Det befriede Israel, et Prisdigt i den episke Poesi i 18 Sange" (1801), hvilket allerede samtiden (Baggesen) omtalte som det "lange Jødedigt, som ingen læser". Hertz' øvrige forfatterskab falder på det teologiske område. Hertz, der 1804 var blevet domprovst i Roskilde, opnåede den teologiske doktorgrad1817. 1819 blev han biskop i Ribe.
