Egy ültetvényen született 1932 márciusában vagy májusában. A Bobo-i Mount Moriah baptista templomban kezdett énekelni. Gyermekkorának nagy részét nagyapja tizenkét szobás házában itt töltötte. Édesanyjával még fiatalon West Memphisbe költöztek. Itt vette fel első slágerét 1953-ban („Feelin' Good”).
Junior Parkert B.B. Kinggel, a Bobby „Blue” Blanddel és Little Miltonnal az afro-amerikai legjobb bluessztárjai közé sorolták. Sok fehér csodálója is volt, köztük Elvis Presley, aki fel is vette Parker „Mystery Train” című dalát Sun Records. Később is számos sikeres slágere volt („Driving Wheel”, a „Next Time You See Me”, „In the Dark” és „Sweet Home Chicago”).
Turnéiból és lemezeiből származó jövedelméből Parker lakásokat vásárolt Houstonban, majd Chicagóban.
39 éves korában meghalt agydaganatban, az illinoisi Blue Islanden 1971. november 18-án.
Hivatalos neve Herman Parker, Jr., bár a mississippi születési anyakönyvi kivonatán Herbert Parkerként szerepel.
