Urodził się w Bovenkarspel, jako najstarsze z dziewięciorga dzieci Hermana i Afry (z domu Koka) Willebrands. Jego ojciec pracował na lokalnym targu warzywnym, a jeden z braci udał się na misje redemptorystów do Gujany Holenderskiej.
Studiował w seminarium w Warmond i tamże przyjął święcenia kapłańskie 26 maja 1934. Kontynuował następnie studia w Rzymie na Papieskim Uniwersytecie Angelicum. Po powrocie do Holandii pracował jako duszpasterz w diecezji Haarlem i wykładał w seminarium w Warmond (w latach 1945-1960 był tam rektorem).
Brał udział w wielu sesjach Światowego Synodu Biskupów w Watykanie (był prezydentem-delegatem II sesji nadzwyczajnej w listopadzie i grudniu 1985). W grudniu 1975 został mianowany arcybiskupem Utrechtu i prymasem oraz wikariuszem wojskowym Holandii, utrzymał jednocześnie stanowisko w Kurii Rzymskiej; w tym samym czasie uzyskał nominację na kardynała prezbitera, z tytułem prezbiterskim San Sebastiano alle Catecombe. Uczestniczył w obu konklawe 1978 oraz w I sesji plenarnej Kolegium Kardynalskiego w Watykanie w listopadzie 1979. Pełnił funkcję prezydenta-delegata Specjalnego Synodu Biskupów Holenderskich w Watykanie w styczniu 1980.
W listopadzie 1982 zrezygnował z funkcji wikariusza wojskowego Holandii, w grudniu 1983 także z rządów archidiecezją Utrecht. We wrześniu 1989 ukończył 80 lat i utracił prawo udziału w kolejnych konklawe, a w grudniu t.r. złożył rezygnację ze stanowiska prezydenta Papieskiej Rady ds. Popierania Jedności Chrześcijan (otrzymał tytuł prezydenta emeritusa). Był ostatnim kardynałem sprawującym urząd kamerlinga Kolegium Kardynalskiego przed jego zniesieniem w 1995 roku. Od śmierci kardynała Corrado Bafile (luty 2005) był najstarszym żyjącym kardynałem.