Sau khi tốt nghiệp khóa 22 Đại học Lục quân (Đế quốc Nhật Bản) năm 1910 và phục vụ trong Bộ tổng tham mưu Lục quân, Sugiyama được đưa đi làm tùy viên quân sự tại Philippines và Singapore năm 1912. Năm 1913, ông được phong quân hàm thiếu tá và được bổ nhiệm làm tùy viên quân sự tại Ấn Độ thuộc Anh. Trong thời gian đó, ông cũng từng đi thăm nước Đức và làm quen với kinh nghiệm sử dụng máy bay trong chiến đấu của Chiến tranh thế giới thứ nhất.
Sau khi trở về, Sugiyama được phong hàm trung tướng và làm chỉ huy tiểu đoàn không quân số 2 vào tháng 12 năm 1918. Ông là người ủng hộ mạnh mẽ cho sự phát triển của không quân và sau khi được thăng hàm đại tá năm 1921, ông trở thành chỉ huy đầu tiên của Không lực Lục quân Đế quốc Nhật Bản năm 1922.
Tháng 5 năm 1925, Sugiyama được phong hàm thiếu tướng. Tháng 8 năm 1930, ông trở thành Thứ trưởng Bộ Lục quân với quân hàm trung tướng.[2] Ông trở lại chỉ huy Không lực Lục quân Đế quốc Nhật Bản vào tháng 3 năm 1933 và mang quân hàm đại tướng từ tháng 11 năm 1936.
Ảnh Sugiyama trên một trang tin Nhật Bản vào ngày 1 tháng 6 năm 1943
Ngày 3 tháng 9 năm 1940, Sugiyama thay thế chức vụ Tổng tham mưu trưởng Lục quân Đế quốc Nhật Bản của hoàng thân Kotohito Kan'in để trở thành một trong những nhà lãnh đạo hàng đầu của Lục quân. Ở cương vị của mình, ông luôn là người ủng hộ cho chủ trương "Nam tiến" tức là đánh chiếm các quốc gia Đông Nam Á đang là thuộc địa của các cường quốc phương Tây nhưng vẫn chủ trương đợi thời cơ thuận lợi để tấn công Liên Xô. Ông cho rằng thời cơ đó là lúc Hitler chiếm được Moskva, dự kiến vào cuối tháng 8.[3] Ngày 6 tháng 9 năm 1941, hội nghị đế chế có sự tham gia của Nhật hoàngHirohito đã mời đại diện của hai phái Lục quân và Hải quân, trong đó Sugiyama đại diện cho Lục quân. Tại đây, ông đã đưa ra được rất nhiều những chi tiết cụ thể, những chiến dịch dự đoán về việc xâm lược Mã Lai và Philippines.[4] Tuy nhiên, trong hội nghị này, Hirohito cũng phê bình Sugiyama về lời dự đoán Chiến tranh Trung-Nhật sẽ kết thúc sớm trong vòng ba tháng đồng thời phản đối việc Sugiyama tin rằng Nhật Bản sẽ sớm đánh bại các cường quốc phương Tây.[5] Ngày 9 tháng 9, kế hoạch "Nam tiến" được bàn kĩ và ông hứa với Nhật hoàng sẽ đảm bảo yên tĩnh ở phía Bắc trong khi tiến xuống phía Nam.[6]
Sau những thắng lợi đạt được ở giai đoạn đầu của Chiến tranh Thái Bình Dương, giữa Lục quân và Hải quân Nhật lại có 2 quan điểm chiến lược khác nhau. Tổng tham mưu trưởng Lục quân Sugiyama đề nghị củng cố vững chắc Đông Nam Á và Trung Quốc, buộc Anh-Mĩ phải đưa ra các điều kiện hòa bình và giành thế chủ động cho người Nhật nếu chiến tranh còn tiếp diễn.[7] Trong khi đó, tổng tham mưu trưởng Hải quân Nagano Osami lại cho rằng cần phải liên tục tấn công để giữ kẻ địch luôn ở tư thế phòng thủ, tiến hành các chiến dịch đánh chiếm Úc, Ấn Độ, Hawaii hoặc các căn cứ quan trọng khác trên Thái Bình Dương hay Ấn Độ Dương. Cuối cùng quan điểm Hải quân đã thắng thế.
Sugiyama được phong hàm nguyên soái vào năm 1943. Sau những thất bại liên tiếp trên chiến trường, ông đã bị buộc phải từ chức Tổng tham mưu trưởng Lục quân vào ngày 21 tháng 2 năm 1944 và thủ tướngTōjō Hideki nắm luôn chức vụ này. Sau đó, ông được bổ nhiệm vào chức vụ Tổng thanh tra Huấn luyện Quốc phòng, vẫn là một trong những chức vụ cao cấp nhất của Lục quân.
Sau khi nội các của Tōjō sụp đổ vào nửa cuối năm 1944, Sugiyama lại một lần nữa được đảm nhiệm chức Bộ trưởng Lục quân. Tháng 7 năm 1945, ông nắm quyền chỉ huy Đệ nhất tổng quân mới thành lập nhằm nhiệm vụ chống lại cuộc đổ bộ sắp tới của Đồng Minh.[8]
Sau khi Nhật Bản đầu hàng Đồng Minh, theo lệnh của Đồng Minh, Sugiyama đã hoàn tất việc chuẩn bị cho sự tan rã của Lục quân Đế quốc Nhật Bản. Ông tự sát vào ngày 12 tháng 9 năm 1945 tại văn phòng riêng bằng cách dùng súng lục tự bắn vào ngực mình bốn lần. Vợ ông cũng tự sát theo chồng tại nhà.[9] Mộ của ông được đặt tại nghĩa trang Tama, tại Fuchū, Tokyo.
Sugiyama (bên trái hàng đầu tiên) trong nội các của thủ tướng Koiso Kuniaki (thứ ba từ trái sang hàng trước) và đô đốc Yonai Mitsumasa (bên phải hàng trước)
Sự nghiệp chính trị
Mặc dù chưa bao giờ được bầu vào các chức vụ chính trị, Sugiyama vẫn được coi là một nhà chính trị theo chủ nghĩa dân tộc cực đoan. Ông có tham gia Thống chế phái (統制派 Toseiha), do Ugaki Kazushige lãnh đạo, với các thành viên như Koiso Kuniaki, Umezu Yoshijiro, Nagata Tetsuzan và Tojo Hideki. Phái này chống lại nhóm Hoàng đạo phái (皇道派 Kōdōha) của Araki Sadao. Về sau, cả hai nhóm này kết hợp lại thành Đảng chính trị theo chủ nghĩa dân tộc mang tên Hoàng đạo phái và Sugiyama trở thành một trong những nhà lãnh đạo về mặt tư tưởng của đảng.
