Londonban született, és miután matematikai tehetséget fedeztek fel nála, lehetősége nyílt, hogy a Cambridge-i Egyetemen tanuljon. Véletlenül került Shackleton expedíciójába, először nem is akart részt venni benne. Az expedíció célja az lett volna, hogy átszelje az Antarktiszt, a terv azonban kudarcba fúlt, amikor hajójuk belefagyott a Weddell-tengerbe és elsüllyedt. Ezután hónapokon keresztül éltek jégtáblákon, majd kikötöttek az Elefánt-szigeten, ahonnan újabb hónapok múlva mentették ki őket. Jamesnek az expedíció alatt írott naplóját a családja őrizte meg.
Hazatérésük után – mivel még mindig tartott az első világháború – belépett a hadseregbe, és kapitányi rangig jutott a nyugati fronton. A háború után oktatóként dolgozott a Manchesteri Egyetemen, fő kutatási témája a röntgendiffrakció volt. 1936-ban feleségül vette Annie Watsont, akitől 3 gyereke született, majd a következő évben Dél-Afrikában, a Fokvárosi Egyetemen kapott professzori állást. Nyugdíjazásáig az egyetemen maradt, ahol 1953 és 1957 között alkancellár is volt. 1955-ben tagja lett a Royal Society-nek.
Alfred Lansing: A Déli-sark foglyai. Ernest Shackleton legendás antarktiszi expedíciója; ford. ford. Ambrose Montanus és Láng Zsuzsa Angéla; Park Könyvkiadó, Budapest, 2001 ISSN1568-426X
Ernest Shackleton: Endurance. 635 nap a jég fogságában; ford. Farkas Tünde; Bastei Budapest Kft., Bp., 2001 ISBN 963 296 499 3