McGhee iniziò il suo apprendistato musicale cantando in cori gospel del Tennessee. Successivamente imparò a suonare la chitarra e iniziò a viaggiare per gli Stati Uniti. Due incontri in particolare si rivelarono importanti: il primo con Blind Boy Fuller, che divenne il suo mentore, il secondo con Sonny Terry, con cui avviò una delle collaborazioni più durature e fortunate nella storia del blues.
Negli anni Sessanta, sulla scia del Folk Revival, Terry & McGhee conobbero ulteriore fama a New York, influenzando musicisti come Woody Guthrie e Bob Dylan.
Nel 1980, dopo quasi quarant'anni di assidua collaborazione e un'intensa attività dal vivo, Terry e McGhee si separarono, continuando separatamente.
McGhee morì nel 1996 in seguito ad una lunga malattia, poco dopo la sua ultima esibizione live al Chicago Blues Festival nel 1995.
Discografia parziale
Discografia solista
Album
1951 - Traditional Blues, Vol. 1
1955 - Brownie McGhee Blues
1959 - Brownie McGhee Sings the Blues
1960 - Traditional Blues, Vol. 2
1962 - Brownie's Blues
1976 - Blues Is Truth
1985 - Facts of Life
Raccolte
1991 - The Folkways Years, 1945–1959
Discografia con Sonny Terry
Album
1955 - Brownie McGhee Blues
1956 - Washboard Band: Country Dance Music
1958 - Folk Songs of Sonny Terry and Brownie McGhee
1959 - Blues with Big Bill Broonzy, Sonny Terry and Brownie McGhee