Był synem polskich emigrantów Jana i Anny z domu Pietruszka. Ojciec Johna Krola urodził się w Siekierczynie koło Limanowej, natomiast matka pochodziła z Mokrej Wsi w powiecie nowosądeckim.
20 lutego 1937 przyjął święcenia kapłańskie. W 1940 ukończył Papieski Uniwersytet Gregoriański. 11 lipca 1953 papież Pius XII mianował go biskupem pomocniczym Cleveland. Sakrę biskupią przyjął z rąk ówczesnego arcybiskupa Amleto Giovanni Cicognaniego 2 września 1953. 11 lutego 1961 został arcybiskupem Filadelfii. 26 czerwca 1967 papież Paweł VI wyniósł go na konsystorzu do godności kardynalskiej z tytułem prezbitera Santa Maria della Mercede e Sant’Adriano a Villa Albani. W 1976 zorganizował w Filadelfii 41. Międzynarodowy Kongres Eucharystyczny, na którym Episkopat Polski reprezentowała delegacja pod przewodnictwem kard. Karola Wojtyły. Doprowadził do wyniesienia na ołtarze bp. Jana Nepomuena Neumana. W 1963 zainicjował pielgrzymki do amerykańskiej Częstochowy - w Doylestown[1]. Reprezentował episkopat USA w czasie pierwszej wizyty Jana Pawła II w Polsce (1979) i na pogrzebie Prymasa Tysiąclecia kard. Stefana Wyszyńskiego w 1981[2].
W 1987 u Johna Krola wykryto chorobę uchyłkową jelit, co było przyczyną jego rezygnacji z funkcji arcybiskupa Filadelfii 11 lutego 1988, w 27 rocznicę objęcia tegoż urzędu.
Dwukrotnie uczestniczył w konklawe w 1978, po śmierci papieży: Pawła VI i Jana Pawła I. W październiku 1990 z chwilą ukończenia 80 roku życia utracił możliwość uczestniczenia w konklawe.
Kilka razy odwiedził Polskę. Ze względu na swoje pochodzenie, w polskiej literaturze często występuje jako Jan Król.