Tízéves korától tanult csellózni, de hamarosan bőgőre váltott. Miután családjával Detroitba költözött, felvételt nyert a neves Eastman Zeneiskolába. Húszévesen bekapcsolódott a New York-i jazzéletbe. A Chico Hamilton Quintettel játszott, és beiratkozott a Manhattan Zeneművészeti Iskolába, ahol aztán mester fokozatot szerzett.
1963-ban Miles Davis beválasztotta második nagyszerű kvintettjébe, és az elkövetkező évek során Herbie Hancockkal és Tony Williamsszel tagja volt minden idők egyik legjobb jazz ritmusszekciójának.[1] Az E.S.P. (1965) volt az első albumuk, Carternek három szerzeménye is szerepelt rajta. A jazz-rock előfutárának tekinthető Filles de Kilimanjaron (1968) Davis kérésére elektromos basszuson játszott. Ha nem annyira elkötelezett a bőgő mellett, valószínűleg továbbra is Davis mellett maradt volna.
Számos felvételen szerepelt kísérőként, többek között Hancock (Maiden Voyage, 1965), McCoy Tyner (The Real McCoy, 1967), Freddie Hubbard (First Light, 1971) oldalán, hogy csak néhány kiemelkedő albumot említsünk. Hancock vezetésével a Davis-féle kvintett tagjai és Hubbard V.S.O.P. kvintett néven játszottak a 70-es évek második felétől.
1972-től saját zenekarai is vannak. A 80-as évek elejétől tanított a New York-i City College-ban, ahol később professor emeritus címet kapott. A zenészek listája, akikkel együttműködött, olyan nagy, hogy kísérletet sem érdemes tenni felsorolásukra. Carter eddigi pályafutása során elképesztően sok – több mint 2000 – albumon szerepelt, szekciómunkái mellett énekesnők kísérőjeként is sokszor remekelt.
Válogatott diszkográfia
Válogatás saját néven kiadott lemezeiből:
Where? (1961) - New Jazz
Uptown Conversation (1969) - Embryo
Blues Farm (1973) - CTI
All Blues (1973) - CTI
Spanish Blue (1974) - CTI
Anything Goes (1975) - Kudu
Yellow And Green (1976) - CTI
Pastels (1976) - Milestone
Piccolo (1977) - Milestone
Third Plane (1977) - JVC
Peg Leg (1977) - Milestone
A Song For You (1978) - Milestone
1 + 3 (1978) - JVC
Pick 'Em (1978) - Milestone
Parade (1979) - Milestone
New York Slick (1979) - Milestone
Patrao (1980) - Milestone
Empire Jazz (1980) - RSO Records
Parfait (1980) - Milestone
Super Strings (1981) - Milestone
Heart & Soul (1981) - Timeless
Etudes (1982) - Electra Musician
Live at Village West: Ron Carter and Jim Hall (1982) - Concord Jazz
