Quando scoppiò la guerra civile dinastica, conosciuta col nome di guerra delle due rose, James si schierò dalla parte dei Lancaster e divenne uno dei più strenui sostenitori della regina consorte Margherita d'Anjou. Fu presente alla prima battaglia di St Albans nel 1455, alla Battaglia di Mortimer's Cross nel 1461 e alla battaglia di Towton. Subito dopo quest'ultimo combattimento, dove l'esercito dei Lancaster venne sconfitto, gli Yorkisti presero James e altri leader sopravvissuti e li condannarono a morte.
Matrimonio
James si sposò due volte. La prima moglie fu Amicia o Avice Stafford, figlia di Sir Richard Stafford e Maud Lovell.
In virtù dei diritti di sua moglie, nel maniero di Frome egli esercitò il patrocinio nella chiesa parrocchiale di Frome.
