Le , Fannin joint les rangs de la United States Military Academy à West Point sous le nom de James F. Walker. Il démissionne à la suite de mauvais résultats et comportements.
En 1821, il déménage à Columbus (Géorgie) et devient marchand. Le , il se marie avec Minerva Fort. Le couple a deux filles.
En 1834, Fannin s'installe à Velasco (Texas)(en), dans l'État mexicain du Coahuila y Tejas (devenu le Texas), où il possède une plantation. À partir de 1835, il fait partie de la résistance anglo-américaine contre le gouvernement mexicain du Texas. Il écrit des lettres et sollicite du financement et des volontaires pour la cause texane.
