The Hoodsin jälkeen Grey kirjoitti vielä kaksi kirjaa, Call Me Duke (1955) ja Portrait of a Mobster (1958), jotka nekin perustuvat hänen rikollisen elämänsä kokemuksiin, mutta niiden menestys oli vähäisempi.
Greyn oikea nimi on Herschel Goldberg. Hänen vanhempansa olivat Israel ja Celia Goldberg, joiden mukana hän muutti Yhdysvaltoihin 1905. Häneltä jäi koulunkäynti seitsemään luokkaan. Hänen veljensä oli New York Postin kolumnisti ja ruokakirjoittaja Hyman Goldberg, joka kirjoitti useita kirjoja, muun muassa Our Man in the Kitchen, johon on koottu hänen kolumnistaan ”Prudence Penny”.
Goldbergin isä sairastui 1912 vakavasti ja joutui sairaalaan leikkaukseen. Isän ollessa sairaalassa Celia alkoi valmistaa ruokaa lähiseudun miehille, jotka kokosivat rahaa saadakseen perheensä Euroopasta Amerikkaan. Kun Israel pääsi sairaalasta, Celian yritystoiminta oli jo menestyvää, ja niin Israel perusti ravintolan. Apuna siellä olivat kaikki perheen lapset, myös Harry ja Hyman.
Goldberg avioitui vuonna 1932 Mildred Beckeromin kanssa, ja he saivat kolme lasta. Jouduttuaan sairaalaan onnettomuuden vuoksi ollessaan viisissäkymmenissä Harry päätti kirjoittaa 1920- ja 1930-luvun elämästä ja New Yorkin liike-elämää hallinneista rikollisjärjestöistä. Varjellakseen itseään ja perhettään hän käytti nimeä Harry Grey.
Goldberg kuoli lokakuussa 1980 vähän ennen kuin elokuvan Suuri gangsterisota kuvaukset käynnistyivät.
