James F. Fagan naît à Louisville, Kentucky. À l'âge de dix ans, sa famille part pour Little Rock, la capitale du nouvel État de l'Arkansas. Son père est engagé pour travailler dans la Old State House. Son père meurt pendant sa jeunesse et sa mère, Catherine A. Fagan, se marie en 1842 avec Samuel Adams, qui devient gouverneur de l'Arkansas deux ans plus tard.
Fagan est promu brigadier général le , et commande une brigade entièrement composée de régiments de l'Arkansas. Il joue un rôle central lors de la bataille d'Helena, où avec sa brigade il réalise des assauts répétés contre les batteries de l'artillerie fédérale. Il assure le commandement de la division de Sterling Price lorsque ce dernier est promu, et joue un rôle lors de la défense réussie de Little Rock.
Il participe à la partie de la campagne de Red River qui se déroule en Arkansas et joue un rôle central lors des batailles lors de l'expédition de Camden, dont la destruction réussie d'un train de ravitaillement fédéral lors de la bataille de Marks' Mill, qui aboutit à la retraite des fédéraux du sud de l'Arkansas. En reconnaissance de ses services lors de l'expédition de Camden, Fagan est promu major général le , et commande la division de l'Arkansas division de la cavalerie confédérée lors du raid de Price dans le Missouri. Sa division rompt de « manière honteuse » lors de l'assaut infructueux contre le fort Davidson à Pilot Knob, Missouri[1]. Pendant la retraite de Price du Missouri et du Kansas, les divisions de Fagan et de Marmaduke sont submergées lors de la bataille de Mine Creek. À la fin de la guerre, Fagan commande le district d'Arkansas du département du trans-Mississippi, qui est actif militairement jusqu'à la fin d'.
Fagan n'est libéré sur parole par le gouvernement des États-Unis que le . Après sa libération sur parole, il retourne dans sa ferme pour y vivre. Fagan participe à la guerre Brooks-Baxter en Arkansas en 1874, servant sous le commandement de Joseph Brooks, malgré le service précédent en tant qu'officier confédéré. Il est nommé marshal des États-Unis par le présidentUlysses S. Grant en 1875. Il sert en tant qu'administrateur du bureau des terres des États-Unis en 1877. En 1890, il est candidat pour être délégué du chemin de fer d'Arkansas, mais n'est pas élu.