Hans-Joachim Gehrke war von 1961 bis 1965 Schüler am Ratsgymnasium Goslar und legte dort 1965 das Abitur ab. Von 1965 bis 1967 diente er bei der Bundeswehr, die er als Leutnant der Reserve verließ. Anschließend studierte er von 1967 bis 1973 Geschichte und Klassische Philologie an der Universität Göttingen, wo er 1973 mit einer Untersuchung zu Phokionpromoviert wurde. Doktorvater war Alfred Heuß, dessen wissenschaftlicher Assistent Gehrke von 1973 bis 1977 war. Anschließend war er Mitarbeiter von Heuß' Nachfolger Jochen Bleicken, bis er sich 1982 in Göttingen habilitierte. Gegenstand der 1985 publizierten und sehr einflussreichen Habilitationsschrift war das Phänomen der Stasis im klassischen Griechenland, die Gehrke primär als Ausdruck von Elitenrivalitäten interpretierte.
Von 1982 bis 1984 lehrte Gehrke als außerordentlicher Professor für Alte Geschichte an der Universität Würzburg, von 1984 bis 1987 dann als ordentlicher Professor an der Freien Universität Berlin. Von 1987 bis 2008 hatte Gehrke den Lehrstuhl für Alte Geschichte an der Universität Freiburg inne. Am 11. Juli 2007 wurde Hans-Joachim Gehrke zum Präsidenten des Deutschen Archäologischen Instituts gewählt; er folgte in dieser Funktion am 1. März 2008 Hermann Parzinger nach. Im gleichen Jahr, am 20. August 2008, wurde er zum Honorarprofessor für die Fächer Alte Geschichte und Klassische Philologie an der Freien Universität Berlin ernannt. 2011 trat er in den Ruhestand; seine Nachfolgerin am DAI ist seit dem 1. April 2011 Friederike Fless.
Gehrkes Forschungsschwerpunkte sind die Geschichte der griechischen Antike, die Historische Landeskunde des zentralen und östlichen Mittelmeergebietes, die sozialen Konflikte und die soziale Integration, die interkulturellen Beziehungen sowie Geschichtsvorstellungen und kollektive Identitäten. Seit 1993 ist er Herausgeber der traditionsreichen wissenschaftlichen Fachzeitschrift Klio.
Phokion. Studien zur Erfassung seiner historischen Gestalt (= Zetemata. Bd. 64). C. H. Beck, München 1976, ISBN 3-406-05154-5 (Zugleich: Universität Göttingen, Dissertation, 1973).
Stasis. Untersuchungen zu den inneren Kriegen in den griechischen Staaten des 5. und 4. Jahrhunderts v. Chr. (= Vestigia. Bd. 35). C. H. Beck, München 1985, ISBN 3-406-08065-0 (Zugleich: Universität Göttingen, Habilitationsschrift, 1981).
Jenseits von Athen und Sparta. Das dritte Griechenland und seine Staatenwelt. C. H. Beck, München 1986, ISBN 3-406-31537-2.
in griechischer Übersetzung: Ιστορία του ελληνιστικού κόσμου. Μορφωτικό Ίδρυμα Εθνικής Τραπέζης, Αθήνα 2000, ISBN 960-250-202-9.
Alexander der Große (= Beck’sche Reihe. Bd. 2043, C. H. Beck Wissen). C. H. Beck, München 1996, ISBN 3-406-41043-X
in spanischer Übersetzung: Alejandro Magno (= Flashback. Bd. 1). Acento, Madrid 2001, ISBN 84-483-0558-2; in tschechischer Übersetzung: Alexander Veliký. Svoboda, Prag 2002, ISBN 80-205-1034-6.
Kleine Geschichte der Antike. C. H. Beck, München 1999, ISBN 3-406-45530-1; Deutscher Taschenbuch-Verlag, München 2003 (= dtv. Bd. 34041), ISBN 3-423-34041-X.