Böhm-Ermolli blev officer vid kavalleriet 1875, överste och regementschef 1896, generalmajor 1903 och fältmarskalklöjtnant 1907. 1911 utnämndes han till chef för 1:a armékåren i Krakau, blev general vid kavalleriet 1912, generalöverste 1916 samt slutligen fältmarskalk 1918. Vid första världskrigets utbrott blev Böhm-Ermolli chef för den först mot Serbien och sedan i Galizien opererande 2:a armén, med vilken han 22 juni 1915 återtog Lemberg. I början av 1916 blev han armégruppchef och kämpade med växlande framgång mot Aleksej Brusilov, som 1917 tvingades utrymma hela Galizien. I början av 1918 ledde han infallet i Ryssland och blev i april överbefälhavare i Ukraina.
