James Freeman besuchte die öffentlichen Schulen seiner Heimat und arbeitete danach in der Landwirtschaft. Im Jahr 1865 zog er nach Griffin, wo er diese Tätigkeit fortsetzte. Außerdem stieg er in den Handel und das Bankgewerbe ein.
Nach seinem Ausscheiden aus dem US-Repräsentantenhaus zog James Freeman nach Atlanta, wo er im Handel arbeitete. Dort ist er am 3. September 1885 auch verstorben.