Schwarz syntyi leipurimestarin kahdeksanlapsiseen perheeseen. Hän kävi kansa- ja oppikoulun Günzburgissa. Vuonna 1899 hän meni naimisiin Berta Breherin kanssa. Hän työskenteli Günzburgin piirioikeudessa ja hänestä tuli notaari. Ensimmäisen maailmansodan alussa hän palveli vänrikkinä jalkaväessä, mutta hänet vapautettiin kenttäpalveluksesta ruoansulatuselimistön ongelmien vuoksi 1915.
Vuonna 1922 Schwarz liittyi kansallissosialistiseen puolueeseen ja osallistui epäonnistuneeseen oluttupavallankaappaukseen seuraavana vuonna. Vuonna 1925 hänestä tehtiin puolueen päätoiminen varainhoitaja.
Kansallissosialistisen puolueen noustua valtaan tammikuussa 1933 Schwarzista tuli Saksan valtiopäivien jäsen. Seuraavana vuonna Adolf Hitler antoi hänelle täydet valtuudet puolueen varojen hoitamiseen. Kesäkuussa 1933 Schwarz liittyi SS:ään ja heinäkuun alussa hänet nimitettiin SS-Obergruppenführeriksi (SS-kenraali). 20. huhtikuuta 1942 Hitlerin syntymäpäivänä Schwarz sai ylennyksen SS-Oberstgruppenführeriksi. Tämä arvo myönnettiin Schwarzin lisäksi vain kolmelle muulle henkilölle. Vuoteen 1945 mennessä Schwarz oli kerännyt puolueen kassaan yli miljardi Saksan markkaa.
Sodan viimeisinä päivinä Schwarz johti Volkssturm-yksikköä. Saksan antauduttua hän jäi vangiksi Yhdysvaltain asevoimille. Kuulustelujen ja terveysongelmiensa vuoksi Schwarz kuoli liittoutuneiden sotavankileirillä lähellä Regensburgia. Koska Schwarz oli polttanut kaikki puolueen varoja koskevat paperit ja koska hän kieltäytyi puhumasta kuulusteluissa, moni kansallissosialistisen puolueen rahoittaja jäi nimettömäksi. Hänet julistettiin kuolemansa jälkeen sotarikolliseksi oikeudenkäynnissä Münchenissä.
