Kirby började vid 17 års ålder sin karriär som musiker i New York då han spelade trombon. År 1929 gick han med i Fletcher Hendersons orkester som tubaspelare, men bytte till kontrabas när bastuba inte längre var populärt som basinstrument i jazzband.
Han bildade 1937 en sextett med en mycket personlig klang och stil. Bandets kvalitet säkrade spelning på Onyx Club i New York vilket också bekräftade Kirbys status som bandledare. Bandet blev känt som Onyx Club Boys.
Kirby strävade mot en lättare, klassiskt influerade stil av jazz, ofta kallad kammarjazz, som har både starka försvarare och ivriga kritiker. Han var mycket produktiv och oerhört populär 1938 - 1941, men andra världskriget tog bort några av bandets medlemmar. Han försökte ändå leda en grupp på klubbar och i studion, och lyckades ibland få med sådana talanger som Dizzy Gillespie, Benny Carter, Ben Webster, Clyde Hart, Budd Johnson, och Zutty Singleton.
Efter kriget fick Kirby de överlevande bandmedlemmarna tillsammans igen, med Sarah Vaughan som vokalist, men återföreningen höll inte så länge. En konsert på Carnegie Hall i december 1950 med Bailey plus trummisen Sid Catlett, lockade bara en liten publik, vilket blev slutet för Kirbys karriär. Han flyttade då till Hollywood, Kalifornien, där han dog strax före en planerad comeback.