Erna (leánykori nevén: Weinstein) és Rudolph Schildkraut színpadi (és később film) színész gyermekeként született. Családja zsidó származású volt. 4 éves korában a családjával Németországba, Hamburgba költözött. Ott zongorázni és hegedülni tanult. Hat éves korában került először színpadra (az apjával). Majd a család Berlinbe költözött, ahol apja szoros kapcsolatba került a híres színházi rendezővel, Max Reinhardttal. Az ifjú Schildkraut az 1900-as évek elején, miután elvégezte a berlini Zeneakadémiát, családjával az Egyesült Államokba költözött és New York-ban telepedtek le. Míg apja a New York-i Yiddish Theater-ben játszott, addig Joseph felvételt nyert az American Academy of Dramatic Arts-ba.
Számos Broadway-produkcióban lépett fel, ám a sikert, a Peer Gynt című színdarabban nyújtott alakítása hozta meg. 1921-ben főszerepet játszott Molnár Ferenc: Liliom című darabjában, mely alapján készítette Rodgers és Hammerstein a Körhinta című zenés színdarabját. Ezután néma filmekben kezdett játszani, bár alkalmanként visszatért a színpadra. Korán sikereket ért el a filmekben, D. W. GriffithA két árva című filmjében, vagy később Cecil B. DeMille 1927-es epikus filmjében, a Királyok királya című filmben, ahol Júdást alakította. Ebben a filmben apja is szerepet kapott. 1937-ben az Akadémia Oscar-díjjal jutalmazta, legjobb férfi mellékszereplő kategóriában Alfred Dreyfus megformálására a Zola élete című filmben.
Tovább gyarapította hírnevét olyan karakterek megformálásával, mint: d'Orléans herceg, az 1938-as Mária Antoinette című történelmi filmben, ahol Norma Shearer és Tyrone Power voltak a partnerei, vagy a gonosz Nicolas Fouquet karaktere, az 1939-es A Vasállarcos című filmben. De talán a legemlékezetess és legkiemelkedőbb alakítását Otto Frank-ként nyújtotta, az 1959-es Anna Frank naplója című filmben. 1953 októberétől 1954 januárjáig a Joseph Schildkraut Presents című rövid életű sorozat házigazdája és főszereplője is volt a DuMont Televíziós Hálózaton. 1963-ban a Emmy-díj-ra jelölték az NBCSam Benedict jogi drámájában nyujtott vendégszerepléséért, melynek Edmond O'Brien és Richard Rust volt a főszereplője.
Magánélete és halála
Schildkraut háromszor nősült. Első felesége 1923-ban Elise Bartlett színésznő volt, akivel 1931-ben váltak. 1932-ben feleségül vette Mary McKay-t, ami felesége 1962. február 17-én bekövetkezett haláláig tartott. 1963-ban Schildkraut feleségül vette Leonora Rogers-t, aki végül túlélte.
1964. január 21-én 67 évesen hunyt el szívrohamban, New York-i otthonában. Édesapját ugyancsak szívroham vitte el, ugyanebben az évben. A Hollywood Forever Cemeteryben temették el.
