Han ble født i en kunstnerfamilie; faren Eduard von Borsody var filmregissør og moren Maria von Borsody fiolinist. Onkelen Julius von Borsody var Østerrikes første filmarkitekt. Familien flyttet til Berlin da han var tre år, og fikk rikstysk statsborgerskap. Under annen verdenskrig reiste de tilbake til Wien på grunn av bombeangrepene.
Etter Abitur og et fotografistudium arbeidet Borsody først ved Den grafiske lære- og forsøksanstalt i Wien, før han studerte skuespill fra 1950 til 1952 ved Max Reinhardt-seminaret. Deretter ble han en av de mest populære skuespillere i de såkalte Heimatfilmene i 50-årene, men spilte også på teater. På 1970-tallet var han sjelden å se på film, et unntak var hans fremragende rolle i Richard Attenboroughs historiske krigsfilm A Bridge Too Far. Han gjorde senere mange gjesteopptredener i fjernsynsproduksjoner.
