Jackson begon als zestienjarige als klarinettist, maar schakelde snel over naar de bas. Hij werd beroepsmusicus in 1937 en vanaf 1939 speelde hij in big bands van Raymond Scott, Jan Savitt en Henry Busse. Van 1941 tot 1943 toerde hij met Charlie Barnet; daarna speelde hij in Woody Hermans eerste band, de "First Herd". Hij is te horen op vele opnamen uit de periode 1943-1946. Jackson speelde daar niet alleen in de ritmesectie, maar zorgde ook voor de ambiance, en stond bekend als de cheerleader van de groep. Toen Herman de band ontbond vormde hij een kwartet met ex-Woodygitarist Billy Bauer, Lenny Tristano (piano) en Stan Levy (drums)[1]. In 1947 speelde hij in het septet van Charlie Ventura en toerde met een eigen groep door Scandinavië.
In 1948 speelde hij opnieuw bij Herman; dan had hij gedurende een korte tijd zijn eigen big band (in 1948-1949) en trad opnieuw op met Ventura (1951). Hij leidde later een combo samen met trombonist Bill Harris. In de jaren 1950 was hij voornamelijk als sessiemuzikant werkzaam, en als gastheer van een eigen televisieshow voor kinderen. Hij vestigde zich in Chicago, later woonde hij in Las Vegas en Los Angeles. Hij trad nog maar af en toe op, onder meer op reünie-concerten van oud-leden van de Woody Hermanband en bij Lionel Hampton (1978-1979). Jackson stierf in 2003 aan de gevolgen van kanker.
Zijn zoon Duffy Jackson (geboren op 3 juli 1953) is een bekend jazzdrummer, die o.a. bij Kai Winding en Count Basie speelde in de jaren 1970.
.jpg)
