John Francis O'Hara var det fjerde av ti barn av John O'Hara og Ella Thornton. Faren var en leder innen det stedlige irsk-amerikanske miljø, publiserte en ligen avis og var aktiv i republikanske kretser.[3] Han og familien flyttet til Bunker Hill i Indiana to måneder etter sønnens fødsel, og i 1989 til Peru i Indiana.
I 1906 dro O'Hara over til Argentina og tilbragte seks måneder på en kvegranch[5] Tilbake i Uruguay foretok han markedsundersøkelser for United States Department of State.[6] Han fortsatte med studiene, og fulgte med da faren ble forflyttet til Brasil.
Da han kom tilbake til USA i 1908 begynte O'Hara ved University of Notre Dame, der han også underviste i spansk for delfinansiering av studieutgiftene. I 1910 ble han et grunnleggende medlem av Notre Dames Knights of Columbus Council 1477, det første KofC College Council.
Han ble presteviet 9. september 1916. Fra 1917 til 1939 underviste han ved univeritetet Notre Dame og var spirutual der, og senere viserektor og rektor.
Den 10. mars 1945 utnevnte pave Pius XII ham til biskop av Buffalo; han ble installert den 8. mai samme år. Han styrket det katolske skolevesen der, og eliminerte raseskillene i skoler og kirker. I 1946 ble han sammen med biskop Michael J. Ready av Columbus sendt til det amerikanskokkuperte etterkrigstidens Japan for å granske forholdene for de japanske katolikker.[3]
Erkebiskop
Den 23. november 1951 ble han utnevnt til erkebiskop av Philadelphia. Hans lederstil var annerledes enn forgjengeren, kardinal Denis Joseph Dougherty. Han åpnet ofte selv døren når noen ringte på, for «hvordan skulle jeg ellers møte de fattige?»[7] I sin tid som erkebiskop etablerte erkebispedømmet 61 nye skoler, tre colleges for kvinner, og spesialskoler for psykisk utviklingshemmede, blinde og døve.[3] Fra 1955 restaurerte og utvidet han sin domkirke, Cathedral of Ss. Peter and Paul. Han kritiserte den amerikanske høyesteretts kjennelse mot å forby filmene La Ronde og M.[8] Han var ikke helt begeistret for radiolytting og fjernsynstitting og forelo i et hyrdebrev at katolikker kunne avstå for denne form for adstredelse i fastetiden.[9]