Studiował filozofię, teologię, biblistykę i religioznawstwo na Papieskim Uniwersytecie Gregoriańskim w Rzymie oraz w Papieskim Instytucie Biblijnym w Rzymie, a także na Uniwersytecie Katolickim w Lille (Francja). Przyjął święcenia kapłańskie w Rzymie 29 października 1933. Do 1945 (z przerwą na kontynuowanie studiów) pracował jako duszpasterz w diecezji St. Pölten. W latach 1945–1948 był wykładowcą kolegium w Krems oraz Uniwersytetu w Wiedniu.
3 lipca 1952 został mianowany biskupem koadiutorem St. Pölten (z prawem następstwa); jednocześnie otrzymał biskupią stolicę tytularną Liviade. Został konsekrowany na biskupa 31 sierpnia 1952. Nie objął jednak diecezji St. Pölten, w maju 1956 został awansowany na arcybiskupa Wiednia. W latach 1959–1968 był także wikariuszem wojskowym Austrii; ponadto kierował Konferencją Episkopatu Austrii.
15 grudnia 1958 papież Jan XXIII wyniósł go do godności kardynalskiej, nadając tytularny kościół prezbiterski S. Eusebio. Brał aktywny udział w obradach II soboru watykańskiego: wywarł wpływ na treść Deklaracji o stosunku Kościoła do religii niechrześcijańskich „Nostra aetate”. Jako kardynał uczestniczył w konklawe 1963 i dwukrotnie 1978, a także kierował Sekretariatem ds. Niewierzących (1965-1980). Brał także udział w sesjach Światowego Synodu Biskupów w Watykanie, w tym jako przewodniczący sesji w 1974 (III Sesja Zwyczajna).
W 1984 był specjalnym wysłannikiem papieża na Narodowy Kongres Eucharystyczny w Chorwacji. Rok później, po ukończeniu 80 lat, utracił czynne prawo wyborcze w konklawe, a także (we wrześniu 1985) złożył rezygnację z kierowania archidiecezją wiedeńską. Był ostatnim żyjącym kardynałem z nominacji Jana XXIII.
Uchodził za jednego z twórców watykańskiej polityki otwarcia na Europę Wschodnią. Miał dobre kontakty z Polską, czego wyrazem mogło być wysunięcie na drugim konklawe kandydatury kard. Karola Wojtyły. Był odznaczony Krzyżem Wielkim Orderu Zasługi Rzeczypospolitej Polskiej (1998)[1], odebrał też doktorat honoris causaUniwersytetu Jagiellońskiego (2003). Był także laureatem Nagrody Św. Wojciecha, jak uzasadniono za wkład w duchowo-kulturalną integrację Europy.
