List gikk inn i den bayerske hæren i 1898 som kadett og ble løytnant allerede i 1900. I 1904 ble han adjutant ved en bataljon, og etter å ha vært ved Bayerische Kriegsakademie (den bayerske krigsskolen) ble han som hauptmann plassert i generalstaben i II. Königlich Bayerisches Armeekorps, hvor han tjenestegjorde da første verdenskrig brøt ut, og ble her til han ble alvorlig syk. Etter at han ble friskmeldt, tjenestegjorde han ved 8. Königlich Bayerische Reserve-Division, og fra januar 1918 arbeidet han i Bayerisches Kriegsministerium resten av krigen.
Etter første verdenskrig gikk han inn i det nyopprettede Reichswehr, hvor han i hovedsak hadde administrative oppgaver. Tidlig på 1920-tallet deltok han også i frikorpset som ble ledet av Franz von Epp. Gjennom hele mellomkrigstiden hadde han forskjellige oppgaver innen Reichswehr, og fra 1935 Wehrmacht, og steg stadig i gradene. Etter Anschluss var han som general øverste militære kommandant i Wien, og stod for inkorporeringen av den østerrikske hæren inn i Wehrmacht. 1. april1939 ble han utnevnt til generaloberst.
Sommeren 1942 ble han satt inn på østfronten som sjef for Armégruppe A da Armégruppe Sør ble delt. Han ledet her Operasjon Blaus fremrykking mot Kaukasus. Oppdraget var her å ta Rostov, og derfra gå mot Kaukasus helt til Baku, for å sikre oljekildene der. Den tyske framrykningen gikk raskt de første to månedene, og nådde nesten helt til Groznyj, omtrent 650 kilometer fra Rostov.
Men mot slutten av august stoppet den tyske framrykkingen opp, mest på grunn av mangel på drivstoff og ammunisjon, da forsyningslinjene ble for lange og sårbare. Situasjonen forverret seg da den lille støtten de hadde fått fra Luftwaffe ble trukket tilbake for å avhjelpe den katastrofale situasjonen for Sjette armé under slaget om Stalingrad.
Hitler ble imidlertid rasende over at de hadde mistet initiativet og framdriften mot Kaukasus, og da List foreslo noen mindre, taktiske tilbaketrekninger for de aller forreste og mest utsatte posisjonene for å styrke kampen mot de innbitte sovjetiske forsvarerne, løste Hitler ham fra hans kommando 9. september, og overtok selv kommandoen over Armégruppe A, uten at det endret situasjonen.
Etter tjenesten
List reiste hjem og ble der resten av krigen. Etter den tyske kapitulasjonen ble han arrestert av amerikanske styrker og tiltalt for krigsforbrytelser og forbrytelser mot menneskeheten i Nürnbergprosessen. I februar 1948 ble han dømt til livsvarig fengsel, men løslatt allerede i desember 1952, angivelig på grunn av dårlig helse, til tross for at han levde i ytterligere 19 år, og døde 91 år gammel.