Mgr. Suharyo awalnya menjalani pendidikan dasar di SD Kanisius, Gubuk, Sedayu, dan pada kelas IV ia pindah ke SD Tarakanita, Bumijo, Yogyakarta. Ia kemudian melanjutkan pendidikannya di Seminari Kecil Mertoyudan, Kabupaten Magelang, Jawa Tengah sejak tahun 1961. Mgr. Suharyo menjalani pendidikan menengah atas di Seminari Menengah Mertoyudan dan lulus pada tahun 1968. Ia kemudian melanjutkan studi di IKIP Sanata Dharma, Yogyakarta, dan pada tahun 1971 ia mendapatkan gelar Sarjana Muda bidang Filsafat/Teologi, serta pada 1976 mendapatkan gelar Sarjana Filsafat/Teologi. Julius Kardinal Darmojuwono kemudian menugaskan Mgr. Suharyo untuk belajar di Roma, Italia. Ia menyelesaikan studi Doktoral Teologi Bibilis di Universitas Urbaniana, Roma, Italia pada tahun 1981.
Setelah kepulangannya dari Roma, Italia, Mgr. Suharyo menjadi pengajar di Sekolah Tinggi Filsafat Kateketik Pradnyawidya, Yogyakarta sejak tahun 1981 hingga 1991. Pada tahun 1983 hingga 1993, ia menjadi Ketua Jurusan Filsafat dan Sosiologi di IKIP Sanata Dharma, Yogyakarta. Mgr. Suharyo sempat menjadi Dosen Pengantar dan Ilmu Tafsir Perjanjian Baru di Fakultas Teologi Wedabhakti, Yogyakarta pada tahun 1989. Ia kemudian menjadi Dekan Fakultas Teologi Universitas Sanata Dharma, Yogyakarta pada tahun 1993 hingga 1997. Ia juga menjadi pengajar di Universitas Kristen Duta Wacana, Yogyakarta dan Universitas Katolik Parahyangan, Bandung pada tahun 1994–1996. Pada tahun 1996–1997, Suharyo menjadi Direktur Program Pascasarjana Universitas Sanata Dharma, Yogyakarta, dan sempat menjadi Ketua Konsorsium Yayasan Driyarkara pada tahun 1997. Ia juga sempat menjadi Ketua UNIO (Persaudaraan Imam-imam Praja) serta dalam Komisi Kitab Suci Keuskupan Agung Semarang.
Pada tahun 2000, Mgr. Suharyo terpilih menjadi Sekretaris Jenderal Konferensi Waligereja Indonesia, untuk masa jabatan 3 tahun hingga tahun 2003, di mana Kardinal Julius menjadi Ketua Presidium. Pada 8 November 2003, Mgr. Suharyo kembali terpilih menjadi Sekretaris Jenderal Konferensi Waligereja Indonesia, di mana Ketua Presidum kembali dijabat oleh Kardinal Julius.[5][6]
Terkait permohonan Kardinal Julius Darmaatmadja, SJ yang hendak pensiun, pada 25 Juli 2009, Takhta Suci Vatikan menunjuk Mgr. Suharyo menjadi Uskup Agung Koajutor Jakarta. Ia meninggalkan Keuskupan Agung Semarang pada 27 Oktober 2009, dan diterima di Keuskupan Agung Jakarta pada keesokan harinya. Selama kekosongan takhta di Semarang, R.D. Pius Riana Prapdi ditunjuk sebagai Administrator Apostolik oleh Dewan Imam Keuskupan Agung Semarang, hingga Uskup Bandung, Mgr. Johannes Pujasumarta diinstalasi menjadi Uskup Agung Semarang. Pada 11 November 2009, Mgr. Suharyo kembali menjabat sebagai Wakil Ketua I Konferensi Waligereja Indonesia, dan Ketua Presidium kembali dijabat oleh Mgr. Martinus Dogma Situmorang, O.F.M.Cap.[9]
Mgr. Suharyo resmi menjadi Uskup Agung Jakarta sejak 28 Juni 2010, sejak Takhta Suci Vatikan resmi menerima pengunduran diri Kardinal Julius Darmaatmadja, S.J., dan dalam Misa di Gereja Katedral Jakarta pada 29 Juni 2010, bertepatan pula dengan Perayaan Syukur 27 Tahun Tahbisan Uskup Julius Kardinal Darmaatmadja, S.J. dan 14 tahun menjadi Uskup Agung Jakarta, Mgr. Suharyo resmi diinstalasi menjadi Uskup Agung Jakarta, ditandai dengan penyerahan tongkat gembala Keuskupan Agung Jakarta kepadanya.
Pasca penunjukkan Mgr. Johannes Pujasumarta menjadi Uskup Agung Semarang yang membuat lowongnya takhta Uskup Bandung, Mgr. Suharyo sempat ditunjuk menjadi Administrator Apostolik Keuskupan Bandung, sampai terpilihnya Mgr. Antonius Subianto Bunjamin, O.S.C.. Pada 15 November 2012, Mgr. Suharyo terpilih menjadi Ketua Konferensi Waligereja Indonesia untuk periode 2012–2015.[10] Ia kembali terpilih menjabat posisi yang sama untuk periode 2015–2018.[11]
Pada Pesta takhta Santo Petrus, 22 Februari 2014, Mgr. Ignatius Suharyo kembali menjadi uskup ko-konsekrator dalam pentahbisan Mgr. Paskalis Bruno Syukur, O.F.M., bersama Mgr. Hubertus Leteng, sementara Mgr. Cosmas Michael Angkur, O.F.M. menjadi penahbis utama.