Koltai István (1912–2000)[2] sportvezető és Fritz Gizella (1922–1970)[3] fiaként született.[4] Gyermekkorát Sztálinvárosban töltötte. Édesapja kedveltette meg vele a sportot, azon belül is a focit. Ugyanakkor az irodalomat is nagyon szerette, 12 évesen lett „Sztálinváros legjobb ifjú szavalója”.[5]1968-ban végzett a Színház- és Filmművészeti Főiskolán. Az első alkalommal nem nyert felvételt az intézménybe, ezért előtte két évig kereskedelemtechnikát is tanult.[6]
Az egyik legtöbbet foglalkoztatott magyar színházművész; országos ismertséget azonban filmszerepei illetve filmrendezései biztosítottak számára.
Magánélete
1971-ben házasságot kötött Pogány Judittal, akivel 2006-ig élt együtt,[11] közös gyermekük P. Koltai Gábor filmproducer. Élettársa Gaál Ildikó rendező.[12]