קליין נולד בסנט לואיס שבמיזורי, לאב יהודי (אברהם קליין) ולאם קתולית, הוא גדל וחונך כקתולי עם שני אחיו ואחותו. סיים את לימודיו בבית הספר הקתולי בסנט לואיס ב-1965. לאחר מכן למד באוניברסיטת אינדיאנה בעיירה בלומינגטון, אינדיאנה, ושאף להיות פסנתרן.
במהלך לימודיו לתואר ראשון, התאהב במורה למשחק של האוניברסיטה ובחר לשנות את מקצועו לשחקן. ב-1970 סיים את לימודיו בהצלחה. באותה שנה קיבל קליין מלגה על לימודיו בחוג דרמה בבית הספר ג'וליארד בניו יורק.
קליין הקים את חברת התיאטרון "חברת השחקנים", תחת חסותו של השחקן זוכה פרס האוסקרג'ון האוסמן. החברה הופיעה ברחבי ארצות הברית והציגה מופעים מתוך מחזות של שייקספיר, מחזות קלאסיים נוספים וכן מופעי שירה. החברה היוותה את אחת מקבוצות התיאטרון הרווחיות ביותר בהיסטוריית התיאטרון האמריקאית.
ב-1976 עזב קליין את חברת התיאטרון ועבר להשתקע בניו יורק, הוא השתתף באופרת הסבון "חיפוש אחר המחר". קליין חזר לבימת התיאטרון ב-1978 והשתתף בתפקיד הקטן בהצגה "ברוס גרנית". כן השתתף בהצגה "על המאה ה-20", הופעה אשר זיכתה את קליין בפרס הטוני. ב-1981 הופיע קליין בפסטיבל שייקספיר בניו יורק בהצגה "שודדי פנזסנס", הופעה אשר זיכתה אותו בפרס טוני השני שלו.
ב-2017 זכה בפרס טוני לשחקן הראשי הטוב ביותר ובפרס דרמה דסק על תפקידו במחזה "Present Laughter".
על תפקידו בסרט "בועות של אהבה" מ-1991 היה קליין מועמד בפעם שלישית לפרס גלובוס הזהב. באותה שנה שיחק גם בסרט "גרנד קניון". ב-1992 שיחק קליין בסרט "צ'פלין". ב-1993 שיחק ב"דייב", והיה מועמד על תפקידו בפעם רביעית לפרס גלובוס הזהב. ב-1995 שיחק בסרט הקומי "נשיקה צרפתית". בסרט האנימציה "הגיבן מנוטרדאם" מ-1996 דיבב קליין את דמותו של קפטן פיבוס. ב-1997 שיחק קליין בסרט הדרמה של הבמאי אנג לי "סופת קרח". באותה שנה הופיע בסרט "בפנים ובחוץ", והיה מועמד לגלובוס הזהב על תפקידו. קליין הופיע במערבון הקומי "פרוע על המערב" ב-1999, וב-2001 שיחק בסרט הדרמה "החיים כבית".
ב-2004 היה קליין מועמד שוב לפרס גלובוס הזהב, על תפקידו בסרט "יום ולילה". ב-2006 שיחק בסרט הקומדיה "הפנתר הוורוד". באותה שנה השתתף גם בסרט "כטוב בעיניכם". ב-2007 שיחק בסרט "סחר אנושי".