Schwarz a dortmundi gimnázium után a Berlini Egyetemre jelentkezett kémia tagozatra. Azonban Ernst Kummer és Karl Weierstrass biztatására abbahagyta a kémiát, és matematikát kezdett tanulni. Karl Pohlke irányítása mellett kutatni kezdett. 1864-ben doktorált, témája: De superficiebus in planum explicabilibus primorum septem ordinum. Témavezetői Ernst Kummer és Karl Weierstrass voltak. Itt Berlinben az analízis különböző problémáival foglalkozott. 1867-ben tanári diplomát is szerzett, és még ebben az évben a Hallei Egyetem docensének nevezte ki. A Zürichi Műszaki Egyetem a matematika professzorává választotta 1869-ben. Hat évre rá elfogadta a Göttingeni Egyetem által felajánlott matematika tagozat vezetői székét. 1890-ben a teljes munkásságát publikálta, majd két év múlva visszatért Berlinbe. 1918-ig itt tanított.
