Ihre Eltern waren Reverend Samuel Edward Axson (1836–1884) und Margaret Jane Hoyt (1831–1881). Als ältestes von vier Kindern wuchs sie in Rome, Georgia, auf.
Ellen und Woodrow, die sich bereits seit ihrer Kindheit kannten, heirateten am 24. Juni 1885. Sie hatten drei Kinder: Margaret Woodrow Wilson (1886–1944), Jessie Woodrow Wilson (1887–1933) und Eleanor Randolph Wilson (1889–1967).
Kristie Miller: Ellen and Edith: Woodrow Wilson’s First Ladies. University Press of Kansas, Lawrence 2010, ISBN 978-0-7006-1737-1.
Lisa M. Burns: Ellen Axson Wilson. In Katherine A. S. Sibley (Hrsg.): A Companion to First Ladies. Wiley-Blackwell, Chichester 2016, ISBN 978-1-118-73222-9, S. 339–356.