Carney był przede wszystkim aktorem telewizyjnym i radiowym, nigdy nie skończył żadnej szkoły filmowej. W latach 30. i 40. prowadził w radiu magazyn kryminalny, a następnie program dla dzieci. Potem przez 20 lat prowadził własny program w telewizji.
Jako aktor teatralny zadebiutował na Broadwayu w 1956 u boku Waltera Matthau. Popularność przyniosła mu postać Eda Nortona, którego grał w serialuThe Honeymooners (na jego podstawie zrealizowano polskie Miodowe lata), w którym stworzył duet z Jackiem Gleasonem. Rola w serialu przyniosła mu 5 nagród Emmy. Współpracę z Gleasonem kontynuował w jego autorskim programie telewizyjnym Jackie Gleason Show.