Prima ging mee met de trends in de muziek indertijd. Hij begon in de jaren 20 met een zevenkoppige jazzband in New Orleansstijl. In de jaren 30 speelde Prima in een succesvol swingcombo, en in de jaren 50 had hij een show in het Sahara in Las Vegas. In de jaren 60 ging Prima verder met een pop-rock go-go band. In al zijn muzikale bezigheden zag je zijn uitbundige persoonlijkheid terug.
Prima speelde in een aantal films, waaronder in 1936 samen met Bing Crosby in Rhythm on the Range. Ook verleende hij zijn stem aan de productie van de DisneyfilmJungleboek, waarin hij de stem van koning Lowietje sprak.
Tot zijn bekendste nummers horen Jump, jive, an' wail, Just a Gigolo/I ain't got Nobody, Buona Sera, Sing, Sing, Sing, Angelina en Pennies From Heaven.
In de jaren 70 ging Prima's gezondheid achteruit. Hij kreeg een hartaanval in 1973, en in 1975 leed hij aan hoofdpijn en periodes van geheugenverlies, die door een hersentumor veroorzaakt bleken te worden. Vanwege een intracerebraal hematoom werd hij geopereerd om de tumor te verwijderen. Na de operatie raakte hij in een coma waar hij nooit meer uit zou komen. Hij werd overgebracht naar New Orleans, waar hij drie jaar later op 67-jarige leeftijd stierf. Prima werd begraven in het Metairie Cemetery in New Orleans.
