Der 1,97 Meter große Schiavelli studierte Schauspiel an der New York University und fing in den 1960er Jahren an, auf der Bühne zu arbeiten. Der erste Film, in dem er mitspielte, war 1971 Miloš FormansTaking Off. Durch sein Talent und markantes Äußeres sicherte er sich weitere Rollen in Filmen von Forman. 1975 war er an der Seite von Jack Nicholson in Formans Literaturverfilmung Einer flog über das Kuckucksnest als Fredrickson zu sehen. Im Fernsehen trat er zum ersten Mal 1972 in The Corner Bar auf. Seine Rolle als U-Bahn-Geist in dem Kinoerfolg Ghost (1990) brachte ihm viel Lob bei den Kritikern ein. Schiavelli hat in über 150 Filmen mitgespielt, oftmals verkörperte er in seinen Nebenrollen eher exzentrische oder Furcht einflößende Charaktere. Dabei wurden diese „kleinen Auftritte“ beinahe zu einem Markenzeichen. So war Schiavelli auch in einer Folge von Star Trek wie auch bei James Bond und in Amadeus zu sehen. 1997 wählte ihn die Zeitschrift Vanity Fair zu einem der besten amerikanischen Charakterdarsteller.
Er war außerdem Autor von Kochbüchern und verfasste Artikel in Kochzeitschriften. Im Jahr 2001 bekam er den Journalismus-Preis der James-Beard-Foundation.
1985 heiratete Schiavelli seine erste Ehefrau, die Schauspielerin Allyce Beasley (* 1954). Aus dieser Ehe, die 1988 geschieden wurde, ging Sohn Andrea (* September 1987) hervor. Am 23. Oktober 1992 heiratete er die Musikerin Carol Sue Mukhalian, eine Konzert-Harfenistin des Seattle Symphony Orchestra und Komponistin. Schiavelli hatte sich auf Sizilien niedergelassen, in Polizzi Generosa, dem Heimatort seiner Großeltern. Er führte dort zuletzt auch Theaterregie. Schiavelli starb an Lungenkrebs. Er war Ehrenvorsitzender der National Marfan Foundation.
