Como Jefe del Estado Mayor del Ejército desempeñó un papel muy activo en las conferencias de enlace y en las cuatro Conferencias Imperiales que condujeron a la guerra con Estados Unidos. En la Conferencia Imperial del 2 de julio, en la que se aprobó la completa ocupación de la Indochina francesa —lo que provocó unas duras sanciones económicas y comerciales por parte de Estados Unidos—, le dijo al presidente del Consejo PrivadoYoshimichi Hara, que no creía que «los estadounidenses vayan a declararnos la guerra por la Indochina francesa», asegurándole a continuación que la ocupación se iba a realizar «de forma pacífica».[1]
Sería ascendido al grado de Mariscal de Campo en 1943, siendo cesado de su cargo como Jefe de Estado del Ejército un año después, el 21 de febrero de 1944, por orden del primer ministroHideki Tōjō. Sin embargo, Sugiyama fue nombrado inspector general de Entrenamiento Militar después de la expulsión de Tōjō el mismo año, volviendo a ser nombrado ministro de Guerra. A su vez, en julio de 1945, se le pidió que tomara el mando del 1.er Ejército General, que dirigía las defensas de la mitad oriental del continente japonés contra la anticipada invasión aliada.[2]
Diez días después de la rendición de Japón se suicidó con cuatro disparos en el pecho. Lo mismo hizo su mujer en su casa.[3] Su tumba se encuentra en el cementerio de Tama, en Fuchū.