Benny växte upp i Chicago och i Waukegan, Illinois. Han påbörjade en karriär som violinist, vilken dock avbröts av första världskriget. Emellertid upptäckte han sin komeditalang då han tjänstgjorde i flottan under kriget. Efter kriget gjorde han filmdebut 1929 men fick sina största framgångar genom radio och TV, ofta tillsammans med Eddie "Rochester" Anderson.
Han blev känd som självförringande, violinspelande girigbuk, men tvärtemot hans roller som en fåfäng, självgod och ilsken man, var han i verkliga livet en av de mest generösa och anspråkslösa någonsin inom showbusiness.