Cobb begynte karrieren i Washington, D.C., hvor han spilte med blant andre Billie Holiday og Pearl Bailey. I 1950 var han med på sin første plateinnspilling med saksofonistenEarl Bostic. Senere spilte han med artister som Dinah Washington, Clark Terry og Cannonball Adderly, før ham kom med i Miles Davis’ kvintett i 1957. Høydepunktet i karrieren kom med Davis-innspillingen Kind of Blue i 1959, som regnes som et av de store mesterverkene innen jazzen. Andre kjente Davis-plater han deltok på er Someday My Prince will Come (1958), Sketches of Spain (1960) og Porgy and Bess (1961).
I 1964 sluttet Cobb hos Miles, men rytmeseksjonen fra sekstetten holdt sammen, under navnet Wynton Kelly Trio. Bandet, som i tillegg til Cobb besto av Wynton Kelly på piano og Paul Chambers på bass, holdt på til slutten av 1960-årene, og de laget flere plater både som trio og sammen med andre artister.
Etter trioen ble oppløst, spilte Cobb med Sarah Vaughan i ni år. I tillegg jobbet han freelance med ulike artister. I den senere tiden hadde Cobb også sitt eget band i New York, under navnet Cobb’s Mob.
