Black var av indiansk avstamming, og moren hans hadde flyttet fra Cheyennereservatet i Oklahoma da hun ble enke mens hun gikk gravid med Jimmy Carl. Han begynte tidlig å spille trompet, men skiftet til trommer på slutten av 1950-tallet for å kunne spille rock'n'roll. På begynnelsen av 1960-tallet hadde han bandet The Soul Giants, hvor Frank Zappa kom inn som gitarist. Ifølge Jimmy Carl Black (på hans selvbiografiske plate, The Jimmy Carl Black Story) hadde Zappa i løpet av 14 dager overtatt som leder i bandet, og de skiftet navn til The Mothers, senere endret til The Mothers Of Invention.
Jimmy Carl Black spilte trommer i The Mothers Of Invention helt til Frank Zappa ca. 1970 oppløste bandet, og gikk solo. Jimmy Carl Black medvirket på ca. 17 av Zappas plater, samt noen av filmene – som 200 Motels. Hans spillestil i den komplekse Zappa-musikken er relativ enkel, og han er spesielt kjent for sitt vokale mantra «Hi boys and girls, I am Jimmy Carl Black, and I am the Indian of the group».
Jimmy Carl Black dannet i 1972 bandet Geronimo Black sammen med Bunk Gardner som var medlem i The Mothers Of Invention. Sommeren 1975 spilte Jimmy Carl Black trommer for Captain Beefheart & the Magic Band med kunstnernavnet Indian Ink. På 1980-tallet spilte Black og Gardener og Don Preston under navnet "The Grandmothers", sammen med tidligere medlemmer i The Mothers Of Invention.
Black flyttet til Italia i 1992 og så til Tyskland n 1995, hvor han samlet The Grandmothers med originalmedlemmene Preston og Gardner og den nederlandske bassisten Ener Bladezipper (kunstnernavn for René Mesritz) og den italienske gitaristen Sandro Oliva.
Jimmy Carl Black deltok fra 2006-2008 i Jon LarsensStrange News From Mars band, og besøkte Norge flere ganger i den forbindelse. Han er med på tre plater med dette bandet. Aller siste opptak med Jimmy Carl Black var for "The Jimmy Carl Black Story", i april 2008, hvor den gamle indianeren rapper via telefon fra sykesenga i Tyskland.
Black ble diagnostisert med lungekreft i august 2008, og døde 1. november 2008, i Siegsdorf, Tyskland.
I 2013 ble dokumentaren "Where's the Beer and When Do We Get Paid?" om Jimmy Carl Black sendt i Tyskland.
Jimmy Carl Black's selvbiografi, For Mother's Sake ble publisert av Monika Black 1. november 2013 for å markere 5-årsdagen for hans død. Det ufullstendige manuskriptet til selvbiografien ble utvidet med materiale fra
en "web-bio" som Black publiserte på sin webside, og et utvalg fra intervjuer som hadde blitt gjort med Black. Størstedel av teksten kom dog fra båndopptak foretatt av Roddie Gilliard i turnébussen til the Muffin Men i perioden 1995-1998.
Band kronologi
Jimmy Carl Black har vært medlem i følgende band:
Them 3 Guys (1959–1960)
The Keys (1960–19622)
The Squires (1963–1964)
Soul Giants (1964–1965)
The Mothers of Invention (med Frank Zappa, 1965–1969)
Captain Glasspack & his Magic Mufflers (1982–1983)
Pound for Pound, Junior Franklin & The Golden Echoes, Rhythm Rats (1983–1985)
Jimmy Carl Black and the Mannish Boys (1985/6–1987/8)
(Austin) Grandmothers (1988–1992)
The Jack & Jim Show (med Eugene Chadbourne, 1993–1995, 2001–2008)
Grandmothers (1993-1994, 1998, 2000)
The Farrell and Black Band (1995–2006)
Muffin Men (1993, 1995–2008)
Sandro Oliva & the Blue Pampurio's, X-Tra Combo, Behind The Mirror, Boogie Stuff, Cosmik Debris, Mick Pini Band, Jimmy Carl Black Band, Tempest Quartet, Happy Metal Band, med flere. (1996–2008)
Diskografi (utvalg)
Solo
1980: Albuquerque Bound b/w Thank You, Mr. Bill
1981: Clearly Classic
1987: A Lil' Dab'l Do Ya (som "Jimmy Carl Black & Mannish Boys")
1988: Brown, Black & Blue (som "Arthur Brown and Jimmy Carl Black")
1998: When Do We Get Paid?
2001: Drummin' the Blues
2002: Is Singin' the Blues
2002: Hamburger Midnight (2002) (som BEP: Jimmy Carl Black, Roy Estrada og Mike Pini)
2003: Mercedes Benz (som Jimmy Carl Black & the X-Tra Combo)
2005: Indian Rock Songs from Jimmy Carl Black (livealbum)
2006: How Blue Can You Get?
2008: Where's the $%&#@ Beer?
2008: I Just Got in from Texas (som Chris Holzhaus, Jimmy Carl Black & Louis Terrazas)
2008: Can I Borrow a Couple of Bucks Until the end of the Week?
2008: I'm Not Living Very Extravagantly, I'll Tell You for Sure...
2008: Where's My Waitress?
2008: If We'd All Been Living in California...
2008: Freedom Jazz Dance (Jimmy Carl Black, Valentina Black, Bruno Marini, Daniele D'Agaro, Cristina Mazza)
2009: Black/Brown/Stone (Jimmy Carl Black, Steven De Bruyn & Jos Steen)
2009: Live All-Stars (livealbum) (Jimmy Carl Black & the Route 66 All-Star Blues Band)
2009: More Rockin' Blues (Jimmy Carl Black & the Route 66 All-Star Blues Band)
2009: Live in Steinbach (live album) (Jimmy Carl Black, Mick Pini & Uwe Jesdinsky)
1980: Grandmothers (The Grandmothers) – en anthology av tidligere uutgitte innspillinger med tidligere medlemmer av The Mothers of Invention (Rhino Records)
1980: Welcome Back (Geronimo Black)
1988: The Highway Cafe of the Damned (Austin Lounge Lizards)
1993; Locked in a Dutch Coffeeshop (Eugene Chadbourne)
1993: Dreams on Long Play (The Grandmothers)
1994: With My Favorite "Vegetables" & Other Bizarre Muzik (Ant-Bee)