הוא נולד בשם קרל לודוויג בוניפציוס קלייבר (Karl Ludwig Bonifacius Kleiber) בברלין, בנו של המנצח אריך קלייבר. בשנת 1935 היגר עם אביו, שהתפטר ממשרתו באופרה של ברלין במחאה על מדיניות המפלגה הנאצית, לבואנוס איירס, ושמו שונה לקרלוס. הוא הלחין, שר וניגן בפסנתר וטימפני כנער, ואביו, שהיה ער לכשרונותיו המוזיקליים, ניסה בכל זאת להניא אותו מקריירה מוזיקלית. כאשר הודיע לאביו כי הוא רוצה להיות מנצח ענה לו האחרון במשפט קלייבר אחד זה מספיק והוא נאלץ ללמוד כימיה בציריך, לימודים מהם פרש לאחר שנה אחת בלבד, לטובת הניצוח. הוא המשיך בהשתלמות מוזיקלית בבואנוס איירס והיה מנצח חזרות בתיאטרון גרטנרפלאץ במינכן בשנת 1952 והתמנה לקאפלמייסטר בפוטסדאם בשנת 1954. בין 1958 ל-1964 כיהן כקאפלמייסטר בדויטשה אופר אם ריין בדיסלדורף-דואיסברג, ואחר באופרה בציריך, משנת 1964 עד 1966. בין 1966 ל-1973 היה קאפלמייסטר ראשון בשטוטגרט, ומאז לא החזיק עוד בשום משרה קבועה. במהלך השנים הבאות נראה לעיתים קרובות בדות של האופרה הממלכתית של בוואריה במינכן.
קלייבר התרחק על פי רוב מעין הציבור. אחרי התפטרותו מן האופרה הממלכתית של בוואריה, פחתה תדירות הופעותיו
יותר ויותר, והוא מיעט בהקלטות. עם זאת, כמעט כל ההקלטות שעשה נחשבות למעולות, בייחוד הגרסאות שלו לביצוע הסימפוניות החמישית והשביעית של בטהובן עם הפילהרמונית של וינה. הקלטות מרשימות אחרות הן הסימפוניה הרביעית של ברהמס והסימפוניות השלישית והשמינית ("הבלתי גמורה") של שוברט, גם הן עם הפילהרמונית הוינאית, הקלטות של "הקלע החופשי" מאת ובר, "העטלף" של יוהאן שטראוס, לה טרוויאטה של ורדי ו"טריסטן ואיזולדה" של וגנר.
סגנון הניצוח הייחודי של קלייבר הונצח בווידאו בכמה וכמה הופעות: הסימפוניות הרביעית והשביעית של בטהובן עם תזמורת הקונצרטחבאו באמסטרדם, "העטלף" ממינכן, "אביר הוורד" של ריכרד שטראוס הן ממינכן והן מווינה, הסימפוניה מס' 36 של מוצרט והשנייה של ברהמס עם המוזיקפריין בווינה והפתיחה "קוריולאן" של בטהובן, ה-33 של מוצרט והרביעית של ברהמס ממינכן. פעמיים ניצח על קונצרט השנה החדשה בווינה של הפילהרמונית הווינאית - ב-1989 וב-1992. שני הקונצרטים שמורים גם הם בווידאו.
קלייבר קבור בסלובניה לצד אשתו סטאנקה ברזובאר, רקדנית בלט, שמתה שבעה חודשים לפניו. השאיר אחריו בן ובת.
.svg){kind=logo}
