Harry B. Gray nacque nel 1935, figlio di Barkus Gray e Ruby Hopper. Nel 1957 ottenne il baccellierato in chimica alla Università Western Kentucky. Nello stesso anno sposò Shirley Barnes, con la quale avrebbe avuto tre figli: Victoria Lynn, Andrew Thomas e Noah Harry Barkus. Iniziò a lavorare nella chimica inorganica alla Università Northwestern, dove ottenne il Ph.D. nel 1960 lavorando sotto la guida di Fred Basolo e Ralph Pearson. Trascorse un anno di post-dottorato alla Università di Copenaghen studiando la struttura elettronica dei complessi con Carl J. Ballhausen.
Successivamente andò a New York presso la Columbia University, dove fu prima ricercatore (1961-1963), poi professore associato (1963-65) e infine professore ordinario (1965-66). Nel 1966 si trasferì al California Institute of Technology dove è professore di chimica e direttore fondatore dell'Istituto Beckman.
Più in particolare, ha studiato il trasferimento di elettroni a lungo raggio in complessi inorganici, soprattutto in metalloproteine. Utilizzando complessi di rutenio, ha dimostrato che le transizioni elettroniche avvengono con velocità significativa anche tra atomi di metallo distanti tra loro. Gli elettroni passano per effetto tunnel su una distanza di 1-2 nanometri (circa 10-20 diametri atomici) attraverso polipeptidi circostanti. Gray conduce anche ricerche sui meccanismi di reazioni inorganiche e bioinorganiche e sul ripiegamento di proteine.
H. B. Gray, J. G. Swanson, T. H. Crawford, Project ACAC. An experimental investigation in synthesis and structure, Tarrytown-on-Hudson, N.Y., Bogden and Quigley, 1972, ISBN0-8005-0030-X.
I. Bertini, H. B. Gray, E. I. Stiefel, J. S. Valentine, Biological inorganic chemistry. Structure and reactivity, University Science Books, 2006, ISBN978-1-891389-43-6.