Hertz var født i en jødisk familie, som konverterede til kristendommen. Hans far var advokat i Hamburg, og hans mor var datter af en læge. I skolen viste han interesse for sprog og naturvidenskab; han studerede senere naturvidenskab. Han var student hos Gustav R. Kirchhoff og Hermann von Helmholtz. I 1880 tog han doktorgraden i 1880, og arbejdede derefter hos Helmholtz, indtil han i 1883 blev lærer i teoretisk fysik ved universitetet i Kiel. Hertz var 1887-88 den første, der frembragte elektromagnetiske bølger (radiobølger) og målte, at de udbredte sig med lysets hastighed; hvilket senere førte til radioteknikkens udvikling. I 1885 blev Hertz professor ved den tekniske højskole i Karlsruhe, [2] hvor Hertz giftede sig med Elisabeth Doll, datter af en matematiker. De fik to døtre, Johanna og Mathilde. Mathilde blev en anerkendt biolog, der forlod Tyskland i 1936. [3]
Som 35-årig blev Hertz alvorligt syg af migræne. Lægerne fik mistanke om en infektion og udførte flere operationer, men Hertz blev stadig dårligere. Nytårsdag 1894 døde han af blodforgiftning. Han er begravet i Hamburg på Ohlsdorf-kirkegården. [4]
I 1930 blev måleenheden hertz vedtaget. I 1960 blev den også anerkendt af General Conference on Weights and Measures.
Hitlers privatsekretær Martin Bormann spurgte en gang Hitler, om man ikke burde gå væk fra betegnelsen hertz, når Hertz var født af jødiske forældre. [5] Det så Hitler dog ingen grund til.