Grant vokste opp under fattige forhold. Han var enebarn (før han ble født hadde hans foreldre fått en sønn som døde som spedbarn) og hadde en forvirret og ulykkelig barndom. Hans mor, Elsie, ble innlagt på et sinnssykehospital da han var ni år gammel. Hans far (som senere hadde et forhold til en annen kvinne som han fikk en sønn med[trenger referanse]) fortalte ham at moren var død, og først i 1935 fant han ut av at hun var i live og innlagt. Tretten år gammel rømte Grant hjemmefra og slo seg sammen med en omreisende akrobattropp; han opptrådte som akrobat og gikk på stylter. Han kom til USA i 1920 og fikk arbeid som badevakt på Coney Island i New York.[trenger referanse]
Karriere
I 1923 vendte Grant tilbake til England der han begynte å opptre i musikalkomedier. Han ble oppdaget av Arthur Hammerstein som tok ham med til New York og gav ham en rolle i musikalen Golden Dawn. Grant fortsatte sin karriere på Broadway i noen år.[trenger referanse]