Hermann Zschokke trat in das Priesterseminar in Wien ein und empfing am 25. Juli 1861 die Priesterweihe. Neben seelsorgerischer Tätigkeit studierte er katholische Theologie an der Universität Wien. 1863 wurde er zum Doktor der Theologie promoviert. Von 1864 bis 1866 war Zschokke Rektor des österreichisch-ungarischen Pilgerhauses in Jerusalem, wo er auch biblischen Sprachen studierte. 1868 wurde er Hofkaplan in Wien und war Dozent für semitische Dialekte und höhere Exegese des Alten Testaments an der Theologischen Fakultät der Universität Wien. 1870 wurde er zum ordentlichen Universitätsprofessor für Alttestamentliche Bibelwissenschaften ernannt. Er war Dekan und von 1884 bis 1885 Rektor der Universität Wien. Nach seiner Emeritierung 1892 wurde Zschokke in das Wiener Domkapitel berufen, wo er verschiedene Ämter innehatte.
1901 ernannte man Zschokke zum Mitglied des Herrenhauses des österreichischen Reichsrats. 1905 wurde er Sektionschef für die Beziehungen zwischen Staat und Kirche.