Carol nacque da una madre di soli 16 anni, figlia di immigrati ebreirussi e da padre ignoto.
Fu data in affidamento fino all'età di otto anni, quando sua madre sposò (prendendone il cognome) Charles Marcus, uno dei fondatori della Bendix Corporation.
Divorziò due volte dallo scrittore William Saroyan; dal primo dei loro due matrimoni nacquero due figli, lo scrittore Aram Saroyan e l'attrice e fotografa Lucy Saroyan, morta poco prima della madre nel 2003. Il 21 agosto 1959 sposò l'attore Walter Matthau, che le diede poi un altro figlio, Charles Matthau, nato nel 1962.
