Gelb gikk på skole fra 1917 til 1925 i hjembyen Tarnów. Etterpå dro han til Firenze for å studere renessansekunst, men interesserte seg snart for Det nære østen og studerte fra 1926 Det nære østens språk i Roma. Etter eksamen i 1929 dro han til University of Chicago Oriental Institute. I 1947 ble han professor der, og forble det til han gikk i pensajon i 1980.
Gelb arbeidet med dechiffreringen av de hettitiske hieroglyfer. I boken A Study of Writing forsøkte han å etablere grammatologi, skriftvitenskap, som akademisk disiplin.
Gelb forfattet over 20 bøker og 250 vitenskapelige artikler.