Marshall blev født i North Manchester i Indiana, og han uddannede sig til jurist. Han begyndte sin advokatpraksis i 1875 i Columbia City, før han i 1909 blev valgt som guvernør i Indiana. Da Demokraterne skulle bestemme, hvem som skulle blive deres præsidentkandidat ved valget i 1912, var Marshall længe et hedt navn, men til sidst blev Woodrow Wilson indstemt i stedet for ham. Han kom alligevel med på valgsedlen, og sammen vandt de præsidentvalget med god margin.
Forholdet mellem Marshall og Wilson var ikke specielt godt. Selv om Marshall blev inviteret med på regeringens møder, blev hans indspil sjældent taget hensyn til. I 1913 gik Wilson til det skridt at møde medlemmerne i Senatet personligt i stedet for at sende vicepræsidenten, som praksissen havde været tidligere. Wilson ønskede med dette at udsende signaler om, at han på ingen måde stolede på sin vicepræsident i delikate affærer. Siden dette har de efterfølgende præsidenter sjælden brugt deres vicepræsidenter som mellemmænd i kontakten med Senatet.
Under Marshalls anden termin kom USA med i 1. verdenskrig. Wilson udsendte ham for at støtte krigsindsatsen, noget som passede Marshall udmærket. Videre blev Marshall i denne periode den første vicepræsident, som afholdt kabinetsmøder. Han fik dette ansvar, da Wilson måtte rejse til Europa for at undskrive Versailles-traktaten og promovere idéen om Folkeforbundet.
2. oktober1919 fik præsidenten sin anden hjerneblødning og var ikke længere i stand til at fungere som præsident. Selv om vicepræsident Marshall da kunne træde ind som fungerende præsident, ønskede han ikke at gøre dette. Han udførte de fleste af præsidentens ceremonielle opgaver i den genværende præsidentperiode uden at overtage præsidentens formelle magt.
Marshall returnerede til Indianapolis efter perioden som vicepræsident og genoptog der sin advokatpraksis. Han skrev også flere bøger, før han i 1925 døde under et besøg i Washington D.C.
