Handy spielte seit den 1920er Jahren in New Orleans in verschiedenen lokalen Bands, bevor er seine Louisiana Shakers gründete, mit denen er in der La Vida Dance Hall spielte und auch regional auf Tournee ging. 1928 wechselte er zum Altsaxophon. In den 1960er Jahren war er regelmäßig mit der Band des Trompeters Kid Sheik Cola und der Preservation Hall Jazz Band zu hören.
Im Zuge des New Orleans Revivals nahm er für GHB Records, RCA und Jazz Crusade auf. Er spielte nun in der December Band und kam mit verschiedenen Bands nach Europa und wurde international bekannt. 1970 trat er mit der Preservation Hall Jazz Band auf dem Newport Jazz Festival auf und hatte einen vielbeachteten Auftritt. Scott Yanow zufolge war er „einer der Spitzenmusiker des New Orleans Jazz in den 1960er Jahren“.[1]
