Joannes var den eldste sønnen fra det andre ekteskap til Petrus Zwijsen, som kom fra Geetbets i Flamsk Brabant. Petrus giftet seg med Cornelia van Heeswijk i Kerkdriel i 1783 og arbeidet etterpå der som møller. Etter konens død giftet Petrus seg med Wilhelmina van Herpen i 1794.
Titulærbiskop, apostolisk vikar
Johannes Zwijsen ble ordinert til prest 19. januar 1817 i Mechelen.
Den 24. januar 1842 ble Zwijsen utnevnt til titulærbiskop av Gerrha, og til apostolisk vikar for de små apostoliske vikariatene Grave-Nijmegen og Ravenstein-Megen, og koadjutor for den apostoliske vikar i 's-Hertogenbosch. Den 17. april 1842 ble han ordinert til biskop i kirken St. Dionysius i Tilburg av hjelpebiskopen Cornelius Ludovicus de Wijkerslooth.
I 1851 døde titulærbiskop Henricus den Dubbelden, apostolisk vikar ved det apostoliske vikariat 's-Hertogenbosch. På grunn av sin stilling som koadjutor var Zwijsen hans etterfølger. De apostoliske vikariatene Grave-Nijmegen og Ravenstein-Megen ble oppløst i denne sammenheng og innlemmet i det apostoliske vikariat 's-Hertogenbosch.
Zwijsen var venn med kong Willem II, som da han var som kronprins var øverstkommanderende for Tilburg garnison fra 1830 til 1839. I løpet av denne periode hadde Zwijsen vært katolsk sogneprest i Tilburg. Dette vennskapet bidro til å forbedre forholdet mellom den (tradisjonelt protestantiske) kongefamilien og det katolske presteskap i Nederland. I 1844 grunnla han Fraters van Tilburg.
Erkebiskop
Da pave Pius IX i 1853 omorganiserte den katolske kirke i Nederland, ble Utrecht ble igjen erkebispedømme. Biskop Zwijsen ble utnevnt til dets erkebiskop. Han ble også utnevnt til biskop av bispedømmet 's-Hertogenbosch, hvor han tidligere hadde tjent som apostolisk vikar siden 1851. Zwijsen arbeidet iherdig for å gjenoppbygge erkebispedømmet i Utrecht og var i stand til å gjenåpne presteseminaret der i 1857. Katedralkapitlet ble etablert i 1858 og den første provinssynode ble holdt i 1864.
I 1868 trakk Zwijsen seg som erkebiskop av Utrecht, men forble biskop av bispedømmet 's-Hertogenbosch inntil sin død i 1877.
