Кан је рођен у Бронксу (Њујорк), од Немачких имиграната Софије и Артура Кана.[1] Матурирао је на Neighborhood Playhouse, где је учио глуму код учитеља Санфорда Мајзнера. Играо је фудбал на Michigan State University.
Његова каријера почиње у тв серијама као што су: The Untouchables, The Alfred Hitchcock Hour, Kraft Suspense Theatre, Combat!, Ben Casey, Dr. Kildare, The Wide Country, Alcoa Premiere, Route 66 и Naked City.[2] Његова прва филмска улога је била у филму Lady In A Cage, 1964. године. Три године касније се појавио са Џоном Вејном у филму Ел Дорадо. Своју прву награду је добио за улогу у филму The Rain People (1969), који је режирао Френсис Форд Копола.[3] Касније је унајмљен од стране Кополе за филм Кум у коме је играо мафијаша Сантина „Сонија“ Корлеонеа. За ову улогу номинован је за Оскара као најбољи споредни глумац.
