Seinen Sohn Adolph schickte er von 1850 bis 1854 nach Ostafrika, in die Arabische Welt und nach Ostindien. Seinen zweiten Sohn John schickte er in die 1851 errichtete Faktorei in Sansibar. Die beiden Söhne traten 1856 in das Unternehmen des Vaters ein, welches ab dem Zeitpunkt unter dem Namen „A. J. H. & Söhne“ und später unter dem Namen „A. J. H. Söhne“ firmierte.
Als die Konkurrenz in das Handelsgeschäft eintrat, wurde der Palmöltransport mangels der eigenen Faktorei in Palma in Nigeria schwieriger. Durch die wachsende Konkurrenz gab Hertz 1858 die Importe, abgesehen vom Reis, aus Afrika auf. In einer 1871 aufgetretenen Periode der Knappheit an Lebensmitteln nahmen seine Söhne den Großimport von Reis aus Afrika wieder auf. Seine Segelschiffflotte vergrößerte sich nach seinem Tod 1866 auf 20 Schiffe, die vornehmlich nach Amerika und Asien fuhren.
Ehrenamtliches Engagement
Von Januar 1848 bis Dezember 1848 war Hertz Präses der Handelskammer Hamburg und 1848/49 auch Mitglied der Verfassungsgebenden Versammlung für Hamburg. 1858/59 vertrat er die Hansestadt als Abgeordneter bei der Deutschen Seerechtskonferenz.
Familie
Adolph Hertz war seit 1822 mit der aus einer mennonitischen Familie stammenden Hamburger Kaufmannstochter Emma Dina Beets (1803–1891) verheiratet. Kurz vorher hatte er sich taufen lassen. Gemeinsam hatten sie vier Söhne und sechs Töchter. Sein ältester Sohn Adolph Ferdinand Hertz (1831–1902) folgte ihm 1866 in der Funktion als Präses der Handelskammer und wurde 1872 Hamburger Senator. Martin Hertz und Wilhelm Ludwig Hertz waren seine Neffen; zu seinen Nachfahren zählen unter anderem die Medizinerin Maria Dorothea Hertz (1918–1995) und der Unternehmer Stephan Hertz (* 1967).
Im Bereich der Familiengrabstätte Adolph Hertz, Friedhof Ohlsdorf in Hamburg, Planquadrat Y10,78-98 (südlich Nordteich), befindet sich eine senkrechte weiße Marmor-Grabplatte für „Adolph Jacob Hertz“.