1905 wurde er von Hans Lietzmann zum Mitarbeiter am Handbuch zum Neuen Testament geworben. Dort brachte er Kommentare zu Markus 1907, Matthäus 1909 und Lukas 1919. Die Kommentare wurden immer wieder neu bearbeitet und wurden hoch gelobt.
Im Ersten Weltkrieg diente er neben seiner Professur in Straßburg als Lazarettpfarrer. Nach dem Ende des Kriegs wurde er zusammen mit der übrigen Professorenschaft aus Straßburg vertrieben. 1919 kam er an die Universität Münster, 1923 an die Universität Königsberg. 1927 wurde er zum korrespondierenden Mitglied der Berliner Akademie ernannt und 1928 an die Universität Halle berufen. In Halle nahm er seine Arbeit an den Kommentaren wieder auf und beschäftigte sich mit dem Kommentar des Origenes zu Mathäus. Hier bekam er Unterstützung durch ein eigenes patristisches Institut. Nach dem Tode Harnacks wurde er ab 1931 Mitherausgeber der Texte und Untersuchungen zur Geschichte der altchristlichen Literatur. Die Emeritierung erfolgte 1936, jedoch unternahm er eine neue Edition der Homilien des Makarios - Symeon, die er jedoch nicht mehr vollständig zu Ende bringen konnte.
Klostermann war in nationalistisch-konservativen Parteien engagiert. 1911 war er Mitglied der preußischen Freikonservativen Partei und war Mitgründer einer rechts vom Liberalismus stehenden Partei im Elsass. Nach 1918 trat er dem Stahlhelm, Bund der Frontsoldaten bei. Bis 1928 war Mitglied der Deutschnationalen Volkspartei. Nach 1945 wurde er Mitglied in der CDU.
