Sau chiến tranh, Terauchi tiếp tục theo học tại Đại học Lục quân và tốt nghiệp năm 1909. Sau đó, ông đi học tại Đức một thời gian. Năm 1919, ông được nhận tước hiệu bá tước (hakushaku) và được phong hàm đại tá. Ông trở thành thiếu tướng năm 1924.
Terauchi trở thành chỉ huy quân đội Nhật tại Triều Tiên năm 1927. Sau khi được thăng hàm trung tướng năm 1929, ông được giao chỉ huy sư đoàn 5 rồi sư đoàn 4 Lục quân Đế quốc Nhật Bản năm 1932. Năm 1934, Terauchi được chuyển đến Đài Loan chỉ huy lực lượng quân Nhật đồn trú tại đây.
Tháng 10 1935, Terauchi được phong hàm đại tướng. Năm 1936, ông trở thành Bộ trưởng Lục quân của Nhật Bản. Đến năm 1937 ông được tham gia chiến đấu trực tiếp khi nắm quyền chỉ huy quân đội Nhật ở Bắc Trung Quốc vào thời điểm cuộc Chiến tranh Trung-Nhật vừa bùng nổ. Trong thời gian tại Bắc Trung Quốc, Terauchi nổi tiếng với những cuộc hành hình dã man hàng ngàn người Trung Quốc.
Sau chiến thắng tại Trân Châu cảng, Nam Phương quân đã dùng Đông Dương làm bàn đạp tiến đánh một loạt các quốc gia Đông Nam Á vô cùng nhanh chóng. Tổng hành dinh của Terauchi lúc đầu đặt tại Sài Gòn thuộc Đông Dương. Sau khi quân Nhật làm chủ được Đông Nam Á, tháng 2 năm 1942, tổng hành dinh của Terauchi được dời sang Singapore để tiện chỉ huy các chiến dịch. Ngày 6 tháng 6 năm 1943, Terauchi được phong hàm thống chế và chuyển đến Philippines vào tháng 5 năm 1944. Khi Philippines ngày càng bị đe dọa, ông chuyển về Sài Gòn trở lại. Khi nghe tin Miến Điện thất thủ, ông bị một cơn đột quỵ suýt chết vào ngày 10 tháng 5 năm 1945.
Sau những thất bại liên tiếp trên chiến trường Thái Bình Dương và nhất là ảnh hưởng từ sự kiện Mỹ thả hai quả bom nguyên tử xuống Hiroshima và Nagasaki nên vào ngày 15 tháng 8 năm 1945, Nhật hoàng Chiêu Hòa đã tuyên bố đầu hàng quân Đồng Minh vô điều kiện. Trước tin Nhật Bản đầu hàng, Terauchi cũng đã phải ra lệnh cho tất cả quân Nhật tại Đông Nam Á ngừng chiến đấu từ ngày 18 tháng 8. Trong cuộc Cách mạng Tháng Tám diễn ra tại Việt Nam, một số cán bộ Việt Minh như bác sĩPhạm Ngọc Thạch đã hội kiến với Terauchi và được ông này hứa rằng quân Nhật tại Đông Dương sẽ không can thiệp.[2] Diễn biến sau đó của cuộc cách mạng đã chứng minh lời hứa của Terauchi.
Ngày 12 tháng 9 năm 1945, đô đốcHải quân Hoàng gia AnhLouis Mountbatten đã tổ chức buổi lễ tiếp nhận đầu hàng của quân Nhật tại Đông Dương. Trong buổi lễ đó, Terauchi đã trao cho Mountbatten hai thanh gươm là vật báu gia truyền của tổ phụ Terauchi, trong đó có một thanh đúc từ năm 1413 và hiện đang còn lưu giữ tại lâu đài Windsor.
Terauchi mất ngày 12 tháng 6 năm 1946 vì đột quỵ tại Mã Lai khi đang còn là tù binh chiến tranh. Phần mộ của ông hiện nay nằm tại Singapore.[3]