Der Vater von Johann Weber war Gendarmerie-Inspektor. 1937/38 besuchte Weber das Bischöfliche Knabenseminar und nach dessen Auflösung ab 1938 das Akademische Gymnasium in Graz. Er wurde, wie viele andere seiner Generation, im Jahr 1943 nach der 6. Klasse zur Wehrmacht eingezogen und bekam 1945 die absolvierte Reifeprüfung per Dekret zuerkannt.[2] 1945 begann er mit dem Studium der Germanistik, Geschichte und Geographie an der Universität Graz (heute Karl-Franzens-Universität Graz) und wechselte 1946 zum Theologiestudium. Am 2. Juli 1950 wurde er zum Priester geweiht, war dann Kaplan in Kapfenberg und ab 1953 Kaplan in Köflach. 1956 wurde er Diözesanseelsorger der Katholischen Arbeiterjugend und 1962 Stadtpfarrer von Graz-St. Andrä. Sein Einsatz für die Armen und Bedürftigen zeichnete sein Wirken in diesen Jahren aus. Beispielhaft dafür war die Errichtung des Heimes der offenen Tür, eines Hauses für in Not geratene Schwangere.[3]
Er begann sehr rasch, die Beschlüsse des Zweiten Vatikanischen Konzils zu verwirklichen. Bereits 1969 richtete er in seiner Diözese Pfarrgemeinderäte und 1970 einen Diözesanrat ein. Er vergab 1970 erstmals an einen Laientheologen (eine Person mit vollständig abgeschlossener theologischer Ausbildung, jedoch ohne Ordination zum geistlichen Amt) die Stelle eines Pastoralassistenten und setzte 1971 zum ersten Mal Ordensfrauen zur „geschäftsführenden“ Leitung einer priesterlosen Pfarre ein.[5] 1975 ließ er verheiratete Männer zu ständigen Diakonen weihen. Das Prinzip des Dreischrittes Sehen – urteilen – handeln von Joseph Kardinal Cardijn, des Begründers der internationalen Christlichen Arbeiterjugend (CAJ), dem auch die Pastoralkonstitution Gaudium et spes des Zweiten Vatikanischen Konzils folgte, leitete das Wirken Bischof Webers, der der Katholischen Aktion immer besonders verbunden war.[6]
Nachdem im Frühjahr 1995 Vorwürfe aufgetaucht waren, dass Kardinal Hans Hermann Groër einen ehemaligen Schüler sexuell missbraucht habe, wollte Weber diese Anschuldigungen durch einen „Weisenrat“ prüfen lassen. Er konnte sich mit dieser Idee nicht durchsetzen, löste aber am 6. April 1995 Groër als Vorsitzenden der Österreichischen Bischofskonferenz ab und blieb dies bis zum 30. Juni 1998. Danach war er stellvertretender Vorsitzender.
Viele Forderungen des 1995 durchgeführten Kirchenvolks-Begehrens lehnte er ab, sah darin aber einen Anstoß für die Kirche, „nicht sitzenzubleiben“, und regte auch den „Dialog für Österreich“ an, der im Oktober 1998 in Salzburg stattfand.
2001 legte er die Leitung seiner Diözese aus gesundheitlichen Gründen nieder. Sein Nachfolger als Diözesanbischof war Egon Kapellari, der die Diözese bis 2015 leitete. Bischof Weber fungierte bei der Weihe von Bischof Wilhelm Krautwaschl als Nachfolger für Bischof Kapellari am 14. Juni 2015 im Grazer Dom neben dem Hauptkonsekrator Erzbischof Franz LacknerOFM als Mitkonsekrator.[8]