Promovido al grado de general de ejército en 1903, Kuroki fue designado jefe del Primer Ejército japonés poco antes de estallar la guerra ruso-japonesa al año siguiente. Después de desembarcar sus hombres en la ciudad coreana de Chemulpo, cerca de Seúl, a mediados de febrero, Kuroki avanzó al norte y venció a una pequeña fuerza rusa en la batalla del río Yalu, librada entre el 30 de abril y el 1 de mayo de 1904. Luego mandó el flanco izquierdo durante la batalla de Liaoyang y pudo repeler un ataque desorganizado de los rusos entre el 25 de agosto y el 3 de septiembre del mismo año.
En la batalla del río Sha-ho, las fuerzas de Kuroki se defendieron exitosamente de la ofensiva rusa dirigida por el general Alekséi Kuropatkin]], entre el 5 y el 17 de octubre. Posteriormente Kuroki mandó el flanco derecho nipón en la batalla de Mukden, disputada entre el 21 de febrero y el 10 de marzo de 1905.
Últimos años
A pesar de su exitosa carrera militar, Kuroki fue uno de los dos comandantes principales que no fueron ascendidos a mariscal de campo, principalmente por ser originario de Satsuma, ya que en ese momento el gobierno estaba dominado por miembros de Chōshū, rivales de Satsuma; aunque también existen razones de política interna dentro del Ejército Imperial de Japón en ese momento.
Se retiró del servicio militar en 1909, y fue incluido en el sistema japonés de nobleza (kazoku) recibiendo los títulos de danshaku (barón) y posteriormente de hakushaku (conde) en reconocimiento de su labor prestada en la guerra. Fue miembro del Consejo Privado desde 1917 hasta su muerte en 1923.
