1809–1817 oli Madison USA president. Tema ametiaega jäi 1812. aasta sõda, milles Suurbritannia püüdis USA-d vallutada, hõivas ajutiselt ja põletas maha koguni pealinna Washingtoni, kuid lõpuks ikkagi kaotas sõja.
Madisoni ajal sai presidendi residentsiks Valge Maja, kuid see põletati 1812. aasta sõja ajal maha. Hiljem see taastati.
Madison on kõige väiksem USA president, olles 163 sentimeetrit pikk ja kaaludes umbes 100 naela (45,4 kilogrammi).
15. septembril1794abiellus Madison Dolley Payne Toddiga, kes oli 26-aastane lesknaine. Abielu kestis mehe surmani. Lapsi neil polnud, kuid Madison lapsendas Dolley poja esimest abielust John Payne Toddi (1792–1852). Pojast sai alkohoolik, kes istus korduvalt pisikuritegude eest vangis, tal polnud kunagi naist ega lapsi.