Shelley Berman wurde als Sohn von Nathan Berman und Irene Marks in eine jüdische Familie geboren. Während des Zweiten Weltkrieges diente er in der United States Navy. Nach dem Krieg studierte er Schauspiel an der Theaterschule der DePaul University. Dort lernte er Sarah Herman kennen, die er 1947 heiratete. Beide hatten keine gemeinsamen Kinder, adoptierten allerdings Mitte der 1960er Jahre einen Sohn und eine Tochter. Ihr Sohn Joshua starb kurz vor seiner Bar Mitzwa im Alter von 12 Jahren an den Folgen eines Hirntumors.
Mit Ende seines Schauspielstudiums wurde er Mitglied einer Schauspielgruppe in Woodstock, Illinois. 1949 zog er nach New York City, um ein weiteres Schauspielstudium an der HB Studio zu absolvieren. Um seine Schauspielerei zu finanzieren, arbeitete er als Sozialarbeiter, Taxifahrer, Tanzlehrer, Verkäufer und Sprachtrainer. Er fand Arbeit am Theater und wurde Mitte der 1950er Jahre Mitglied der Improvisationstheatergruppe Compass Players, welche später in The Second City aufging. Er begann vermehrt Solostücke zu spielen und wurde schließlich von Nachtclubs als Komiker gebucht. Er wurde von Verve Records unter Vertrag genommen und nahm 1959 mit Inside Shelley Berman und Outside Shelley Berman seine ersten beiden Comedy-Alben auf. Für das erste Album wurde er ein Jahr später mit dem Grammy Award for Best Comedy Album ausgezeichnet.
Berman blieb dem Theater treu und spielte unter anderem am Off-Broadway und am Broadway. Nachdem er bereits Mitte der 1950er vereinzelt im Fernsehen zu sehen war, etablierte sich Berman ab Anfang der 1960er Jahre als Schauspieler für Nebenrollen und trat dabei in Fernsehserien wie Verliebt in eine Hexe, Notruf California und MacGyver auf. Größere Aufmerksamkeit hatte er in 13 Folgen der renommierten Comedyserie Lass es, Larry!, als er mit der Rolle des Nat David den Vater von Larry David spielte. Dafür erhielt er 2006 eine Nominierung für den Screen Actors Guild Award als Bestes Schauspielensemble in einer Comedyserie und 2008 eine Nominierung als Gastdarsteller in einer Comedyserie bei der Primetime-Emmy-Verleihung 2008. Insgesamt wirkte Berman bis zu seinem Karriereende 2012 in fast 90 Film- und Fernsehproduktionen mit.
Am 1. September 2017 starb Berman im Alter von 92 Jahren an den Folgen seiner Alzheimer-Krankheit in seinem Haus in Bell Canyon, Kalifornien.[1]