Leavell er født i Birmingham, Alabama, hvor han lærte sig selv at spille på forskellige instrumenter. Efter at have set en koncert med Ray Charles (sammen med Billy Preston i koret) besluttede han sig for at forfølge en karriere i musikken, og droppede derfor ud af high school. Leavell fik kontakt med Capricorn Records, der ligger i Macon, Georgia, hvor han også mødte sin fremtidige kone og flyttede til Georgia.
Leavell kom med i Allmans Brothers i september1972. Leavells arbejde er mest beundringsværdigt på bandets populære album Brothers and Sisters fra 1972, og specielt på sangen Jessica. Imidlertid fulgte kun et studiealbum efter dette. Win, Lose or Draw fra 1975 hvor Leavell spillede klaver og keyboard på, men allerede der var bandet begyndt at gå i opløsning.
Leavell stod for første gang i sin karriere som frontfigur, da han åbnede shows for Allman Brothers Band sammen med bassisten Lamar Williams og trommeslageren Jaimo.
Efter at Allman var blevet opløst i maj1976 tilføjede trioen, Leavel, Williams og Jaimo, guitaristen Jimmy Nalls og forsatte under navnet Sea Level, som stammede fra Chuck Leavells initialer og efternavn. Gruppen holdt i fem år, og udgav ligeså mange albums.
Efter bandets opløsning begyndte Leavell at arbejde som studiemusiker, og få måneder efter kom han med i The Rolling Stones som deres anden keyboardspiller efter Ian Stewart til bandets europæiske tour i 1982. Efter Stewarts død i 1985 blev Leavell første pianist, og spillede også på studieindspilningerne. Han forsatte med på tour og fungerede som deres ”dirigent”, og hver nat udvalgte han sammen med Mick Jagger set-listen. ”Det er en fornøjelse at gøre Mick, Keith, Charlie og Ronnie glade” fortæller Leavell på sin hjemmeside.
