Figlio di Hermann Robert Stein, pastore, e Julie Friederike Meyer, Hermann von Stein lasciò la scuola per iniziare gli studi militari, e nel 1873 entrò in qualità di cadetto in un reggimento di artiglieria, per conseguire la promozione a tenente nel 1875. La sua carriera militare fu brillante dato che nel 1890 e nel 1896 arrivarono le promozioni a capitano e maggiore, seguite sei anni dopo da quella di tenente colonnello. Dopo altri avanzamenti di grado, von Stein diventò tenente generale al comando della 41ª Divisione di stanza a Deutsch Eylau.
L'avvento della prima guerra mondiale lo vide, dal 29 ottobre 1916 al 9 ottobre 1918, ministro della guerra della Prussia.
