James Douglas nacque nel 1371 da Archibald Douglas, III conte di Douglas e da Joan di Moray (morta nel 1408 circa) e la sua vita rimane avvolta nell'oscurità fino a che il fratello maggiore Archibald Douglas, IV conte di Douglas non viene sconfitto e catturato dagli inglesi a seguito della disfatta alla Battaglia di Humbleton Hill del 14 settembre 1402. A quel punto James assurse al rango di capo famiglia del Clan Douglas con l'incarico di preservare la loro influenza nel sud della Scozia, il suo successo permise ai Douglas di prosperare e quando, nel 1409, suo fratello venne liberato egli venne ricompensato assurgendo al ruolo di suo consigliere insieme a numerose terre e proprietà fra cui il castello di Abercorn in cui James visse fino alla morte.
Attorno al 1420 James agì da contatto fra il fratello e Murdoch Stuart che stava agendo in qualità di reggente per il cugino Giacomo I di Scozia che era prigioniero degli inglesi. A dispetto del suo legame con gli Stewart, Murdoch era suo cognato, questo non gli impedì di schierarsi al fianco del re quando questi tornò in patria nel 1424 o di sedere, l'anno seguente, nella giuria che condannò Murdoch e due dei suoi figli di essere processati e giustiziati con l'accusa di avere volontariamente fallito nelle trattative di riscatto che avevano finito per fare rimanere Giacomo I in mano agli inglesi per diciotto anni.
Giacomo si dimostrò riconoscente: nel 1426 gli confermò il possesso di tutte le sue terre, nel 1430 suo figlio maggiore venne creato cavaliere e nel 1435 egli venne fatto Sceriffo del Lanarkshire rafforzando la sua posizione fra i più stretti seguaci del re che lo ricompensò ulteriormente con il titolo di Signore di Avondale.
Quando nel 1437 Giacomo I venne assassinato James sostenne il nipote Archibald Douglas, V conte di Douglas (1390 - 26 giugno 1439) che divenne reggente per il giovane Giacomo II di Scozia fino alla morte avvenuta per malattia due anni più tardi.
La morte di Archibald Douglas portò a una sfortunata sequela di eventi che vide la malaccorta divisione del potere fra James, William Crichton (morto nel 1454) e Alexander Livingtson che culminò nella cosiddetta Black Dinner che ebbe luogo al Castello di Edimburgo. In quell'occasione il bis-nipote di James, William Douglas, VI conte di Douglas (1424 circa-24 novembre 1440) e suo fratello David (prima del 1439 - 24 novembre 1440) vennero assassinati di fronte al re che allora aveva solo dieci anni.
Gli storici tendono a considerare questi tre uomini quali artefici del delitto tanto più che a seguito della morte di William fu James a ereditare il titolo di Conte di Douglas. James morì tre anni più tardi, il 24 marzo 1443.
Matrimonio e figli
In prime nozze James sposò Beatrice Stewart figlia di Robert Stewart da cui ebbe una figlia:
Beatrice Douglas
In seconde nozze James sposò Beatrice Sinclair attorno al 1425 e insieme ebbero:
