Am 22. Mai 2001 wurde er von Papst Johannes Paul II. zum Bischof der Diözese Gurk-Klagenfurt ernannt und am 23. Juni offiziell in dieses Amt eingeführt.
Papst Franziskus ernannte ihn am 17. Mai 2018 zum Bischof von St. Pölten.[4][5] Am 1. Juli 2018 wurde er in sein neues Amt eingeführt.[6][7] Bischof Schwarz wurde am 2. Juli 2022 Ehrenmitglied der K.Ö.A.V. Floriana St. Pölten im ÖCV.
Der Wechsel von Schwarz von Klagenfurt nach St. Pölten war von Medienberichten begleitet, die Schwarz’ Amtsführung bei der Verantwortung für das Mensalgut des Bistums kritisierten; die vorgeschriebene jährliche Überprüfung durch einen unabhängigen Wirtschaftsprüfer sei vier Jahre lang nicht erfolgt, und Bischof Schwarz habe die diesbezüglichen Kompetenzen des Kontrollrats gestrichen.[8][9] Schwarz hatte an ihn gerichtete Vorwürfe stets zurückgewiesen, zu Kritik an seinem Führungsstil nahm er keine Stellung.[10] Im Mai 2020 wurde das diesbezügliche strafrechtlicheErmittlungsverfahren gegen Schwarz eingestellt.[11][12] Mittels Einstellungsbescheid der Wirtschafts- und Korruptionsstaatsanwaltschaft wurde im August 2021 zudem ein Finanzstrafverfahren „aufgrund mangelnder Verdachtslage“ beendet.[13]
In der Österreichischen Bischofskonferenz ist Bischof Schwarz für die Referate Umwelt und Nachhaltigkeit, Wirtschaft und Landwirtschaft sowie Kirche und Sport zuständig.[14][15] Als „Sportbischof“ engagierte sich Schwarz für die Ernennung von Luigi Scrosoppi zum „Schutzheiligen für alle Fußballerinnen und Fußballer, Stadien-Besucher und Fußball-Fans“. Einen weltweiten Schutzpatron für Fußballerinnen und Fußballer hatte es zuvor nicht gegeben.[16]
2023 wurde er in die MKV-Verbindung Aggstein aufgenommen.