Cleveland werd geboren in Londen, maar verhuisde al snel naar de VS nadat haar moeder trouwde met een Amerikaan. Haar stiefvader werkte bij de Amerikaanse luchtmacht en werd regelmatig overgeplaatst. Cleveland woonde achtereenvolgens in Philadelphia, Pennsylvania, en San Antonio, Texas. In Pasadena bezocht ze de John Marshall Junior High School en de Pasadena High School. Op haar vijftiende werd ze uitgeroepen tot Miss Teen Queen in het satirische tijdschrift Mad. In 1960 keerde ze terug naar Engeland en ging studeren aan de Royal Academy of Dramatic Art.
Na haar opleiding begon ze te spelen in toneelstukken. Ze viel op en werd gevraagd voor kleine rolletjes in series als The Persuaders en The Saint. Haar komisch talent ontwikkelde ze in series als The Two Ronnies, Morecambe and Wise en Spike Milligan. Het waren BBC series en die omroep was ook begonnen met een nieuwe serie onder de titel, Monty Python's Flying Circus. De makers van de serie hadden Cleveland zien optreden en vroegen haar om enkele rolletjes te spelen in de Monty Pythonafleveringen. De actrice verscheen uiteindelijk in dertig van de vijfenveertig afleveringen. Meestal als een sexy blonde dame, zonder veel tekst, aangezien de Pythons zelf de meeste andere vrouwenrollen voor hun rekening namen. Cleveland raakte zo verweven met de serie dat ze wel de zevende Python of de vrouwelijke Python werd genoemd.
Meer acteertalent vroegen haar rollen in de Monty Pythonfilms zoals Monty Python and the Holy Grail. In de documentaire over het maken van deze film vertelt ze hoe ze voor de film gevraagd werd. De Pythons zeiden tegen haar: "We hebben nu een uitdaging voor je, we vragen ons echt af of je die rol aan kunt". De geplaagde Cleveland riep toen uit: "Wat… wat moet ik spelen?", waarop John Cleese zei: "Een zeventienjarige maagd". Waarna Cleveland de tekst ging leren voor haar dubbelrol als Zoot/Dingo, een losgeslagen jonkvrouw in een graalkasteel en haar stoute zuster. Na haar periode bij Monty Python speelde ze nog rolletjes in enkele films en tv-producties. Rond 2005 bracht ze een eigen onewomanshow onder de titel: Carol Cleveland Reveals All.