A Virginia állambeli Port Conwayben született 1751. március 16-án. (Az akkor érvényben lévő Juliánus-naptár szerint március 5-e.) Ősei még a 17. században hagyták el Angliát. Apja, a vele azonos nevű James Madison ültetvényes és rabszolgatartó volt, anyja Eleanor Rose Conway. 12 testvére közül ő volt a legidősebb, de testvérei közül csak hét érte meg a felnőttkort. Tanulmányait a Princetoni Egyetemen (akkori nevén College of New Jersey) végezte, ahol 13 hónap alatt sajátította el a négy év anyagát. Itt ismerkedett meg a felvilágosodás műveivel és ideológiájával.
Politikai karrierje (1776-1809)
Madison már 1776., vagyis a függetlenség kikiáltásának évétől a virginiai törvényhozásban tevékenykedett. Elvetette a „vallási toleranciát”, helyette a teljesen szabad vallásgyakorlást részesítette előnyben. Virginia állam az ő javaslatára kérte fel a másik tizenkét államot, hogy küldjenek képviselőket a philadelphiai Alkotmányozó Konvencióba (1787). Vezető szerepet játszott a máig is érvényben lévő amerikai alkotmány megszerkesztésében.
Az alkotmány ratifikálása után republikánus ideológiáját fejtette ki több New York-i lapban. Nézete szerint nagy területű államban is létrejöhet köztársaság, cáfolva ezzel kora közkeletű nézetét. Madison szerint az olyan politikai elvek, mint a hatalom megosztása, a törvényhozás korlátjai, a képviseleti kormányzás vagy a független bíróságok a nagy államok számára is lehetővé teszik ezt.
Az 1789-ben megalakult új kongresszus egyik legtekintélyesebb képviselőjeként fontos szerepet játszott az adóügyi törvények, valamint az első tíz alkotmánykiegészítés megalkotásában. Ezek az alkotmánykiegészítések biztosították a sajtó-, gyülekezési-, szólás- és vallásszabadságot az amerikai állampolgároknak. Huszonegy év törvényhozói gyakorlat után, 1791-ben fel akart hagyni a politizálással és visszavonult a családi dohányültetvényre. Levelezett Thomas Jeffersonnal, Republikánus Pártbeli barátjával. A politikától nem tudott eltávolodni és amikor Thomas Jeffersont elnökké választották, felkérte James Madisont a külügyminiszteri feladatok ellátására. 1801-től 1809-ig az elnök jobbkeze volt és Jefferson mindvégig az utódjának tekintette. Segítségével az 1808-as elnökválasztáskor Madison 122 elektori szavazatot kapott, míg kihívói, Charles Cotesworth Pinckney federalista jelölt 47 szavazatot, George Clinton republikánus jelölt 6 elektori szavazatot.
Elnöki évei (1809-1817)
Az új elnök messze nem volt olyan karizmatikus és erélyes vezető, mint mentora és elődje. Már csak azért is, mert korábbi nézeteihez hűen úgy vélekedett, hogy a törvényhozó szervnek kell kormányozni az országot. Sokáig fontolgatott mindent és ezért kortársai határozatlannak és gyengének tartották. Felesége, Dolley Madison sokkal népszerűbb volt nála és ő tekinthető az első igazi First Ladynek, noha csak 1877-ben vetették papírra először ezt a kifejezést. Elődjéhez hasonlóan Madison is megpróbálta békés eszközökkel rábírni az egymással háborúzó franciákat és briteket az amerikai kereskedelem semlegességének tiszteletben tartására, hogy hagyjanak fel az amerikai hajók zaklatásával. A terv nem járt sikerrel, mert I. Napóleon francia császár cselén megbukott az elképzelés. Eközben északon fellázadtak az indiánok, míg délen a floridaiak fellázadtak a spanyolok ellen és kérték államuk annektálását. Madison úgy érezte, hogy mindent megtett a konfliktusok békés rendezésére, de semmit nem ért el. 1812-ben a kongresszus nyomására hadat üzentek Nagy-Britanniának, holott diplomáciai eszközökkel már sikerült elérni, hogy a brit parlament elfogadjon egy törvényt, amely szerint felhagynak az amerikaiak bojkottjával. A hír azonban késett, és kitört a brit–amerikai háború.
1812-ben újabb elnökválasztás következett, amikor Madison 128 elektori szavazatot kapott, kihívója, a federalisták által támogatott DeWitt Clinton 89-et. Eközben a britek elleni háborúban kevésbé volt sikeres. Hadiflottával nem rendelkezett és csak 6700 katonája állt fegyverben, és eközben az államkassza pedig üres volt. A kisebb győzelmek után jelentős fordulat következett be. Véget ért a Napóleon elleni háború Európában és Nagy-Britannia harcedzett, teljes hadseregét az USA-ra zúdította. New Yorkot ugyan sikerült megvédeni, de 1814. augusztus 24-én az elnöknek menekülnie kellett Washingtonból. Nem sokkal később a britek bevonultak a fővárosba, az összes középületet felgyújtották, így az elnöki rezidenciát is. A város visszafoglalása után csak 1817-re sikerült felújítani az elnöki rezidenciát amit már ez előtt is Fehér Ház-ként emlegettek. A brit-amerikai háború patthelyzettel ért véget a genti békeszerződés értelmében (1814. december 24.).
A háború alatt megerősödött a nemzeti egység, és az európai riválisoktól megszabadított ipar fejlődésnek indult. A republikánusok eközben rájöttek, micsoda jelentőséggel bírnak az adók, az állandó hadsereg és a hadiflotta. Madison elnökségének utolsó két éve békében telt. Megemelkedett a dohány ára, amely által nagyobb jövedelem folyt be. Iparvédelmi vámokat vezettek be és újra létrehozták az Egyesült Államok Bankját 20 év időtartamra. Eközben két állammal bővült az unió: Louisiana (1812) és Indiana (1816) csatlakozott.
Madison élete az elnöki hivatal után (1817-1836)
Hivatali idejének letelte után James Madison elhagyta Washingtont. Népszerűsége magasabb volt, mint elnöksége kezdetén. Visszahúzódott virginiai birtokára, Montpelier elnevezésű ültetvényére, ahol gazdálkodott és politikai értekezést írt. Segített Thomas Jeffersonnak a Virginia Egyetem megalapításában, amelynek 1826-tól, Jefferson halála után rektora lett.
Az 1830-as évek közepén már csak Madison volt életben az Alapító Atyák közül. Mivel a függetlenség kikiáltásának napján, július 4-én halt meg Adams, Jefferson és Monroe is, egyik barátja arra kérte Madisont, hogy próbálja meghosszabbítani életét a függetlenség 60. évfordulójáig, milyen szép lenne, ha ő is e jeles napon halna meg. Hat nappal korábban, 1836. június 28-án családi birtokán halt meg. Ellentmondásos politikai pályája miatt ragasztották rá Az alkotmány atyja (Father of Constitution) és A nagy kis Madison (The Great Little Madison) neveket.
