Fiatal éveiben Big Joe Williams folyamatosan New Orleans és Chicago között utazott, hogy ahol csak lehetett, bluest játszott.
Az 1930-as években egy ideig börtönben ült.
1935-ben készítette első felvételeit saját neve alatt, köztük talán legismertebb dala a Baby, Please Don't Go volt. 1937-ben Sonny Boy Williamson I(wd)-gyel dolgozott.
Számos 78 fordulatszámú lemez után 1958-ban jelent meg első albuma, a Piney Woods Blues. 1962-ben a Blues on Highway 49 című albuma megkapta a "Grand Prix du Disque de Jazz" a "Hot Club of France"-tól. Ennek köszönhetően Williams Európában is fellépett az American Folk Blues Fesztiválon.
Big Joe Williams és Charlie Musselwhite indította el az 1960-as évek blues reneszánszot Chicagóban. Williams Bob Dylannel is vett fel lemezt 1960-ban. 1982-ben halt meg a Mississippi állambeli Maconban.
Stúdióalbumok
Piney Woods Blues (1958)
Tough Times (1960)
Blues on Highway 49 (1961)
Nine String Guitar Blues (1961, later re-released as Walking Blues)
Mississippi's Big Joe Williams and His Nine-String Guitar (1962)[7]
Blues for Nine Strings (1963)
Back to the Country (1964)
Ramblin' and Wanderin' Blues (1964)
Classic Delta Blues (1964)
Studio Blues (1966)
Big Joe Williams (1966)
Thinking of What They Did to Me (1969)
Hand Me Down My Old Walking Stick (1969)
Big Joe Williams (1972)
Blues from the Mississippi Delta (1972)
Don't Your Plums Look Mellow Hanging on Your Tree (1974)
Díjak
1962: Blues on Highway 49 című albuma megkapta a „Grand Prix du Disque de Jazz” a „Hot Club of France”-tól
