Mahalia Jackson New Orleans külvárosának Carrollton Black Pearl nevű részében született 1911-ben egy szegény néger családban. Apja dokkmunkás és a helyi baptista néger gyülekezet lelkipásztora volt. Az ötéves kis Mahalia itt, a templomi kórusban kezdett énekelni. Ezt a hangot nem lehetett nem észrevenni, ezért különleges tehetsége hamar feltűnt, így 1927-ben alig 16 évesen Chicagóba költözött és az első nagy gospel együttessel, a Johnson Brothersszel énekelt.
Az 1930-as évek közepén az együttes feloszlott és 1937-ben Mahalia a Decca lemezcég támogatásával szólókarrierbe kezdett. Bár első lemeze csak mérsékelt sikert aratott, ennek ellenére csakhamar népszerű énekesnővé vált, és egyik koncertet adta a másik után. 1946-ban az Apollo lemezcéghez szerződött és néhány figyelemreméltó dalt is kiadott. 1948-ban a "Move on up a Little Higher" című dalával végre átütő sikert aratott. A siker rögtön a világhírnévre repítette és dalai az Egyesült Államok után Európában is népszerűek lettek. Az "I Can Put My Trust in Jesus" elnyerte a Francia Akadémia díját, és a "Silent Night" például Norvégia történetének legnagyobb zenei lemezsikere volt. A CBS sorozatot adott ki vele és 1954-ben a Columbia Recordsnak is énekelt.
A sikerek közepette azonban elkerülhetetlenül hullámvölgy következett, a gospel hívei azzal vádolták, hogy túlságosan felhigítja a műfajt a népszerűség érdekében. Karrierje az 1950-es évek végén és az 1960-as években is töretlenül folytatódott, énekelt a Newporti Jazz Fesztiválon, John Fitzgerald Kennedy beiktatásán és Martin Luther King temetésén is. Koncertezett világszerte, útjai során vezető államférfiak fogadták, a világ koncerttermeinek ünnepelt sztárja volt. Koncertkarrierjét 1971-ben Németországban fejezte be. Visszatérve hazájába még részt vett néhány tv-showban, de szív- és cukorbetegsége egyre inkább elhatalmasodott rajta.
Mahalia Jackson 1972. január 27-én hunyt el Chicagóban. A Louisiana állambeli Metairie-ben, a Providence Memorial Parkban temették el. Sírkövén ez áll: Mahalia Jackson, a világ legnagyobb gospelénekese.
