Terauchi est originaire d'une famille de samouraïs du domaine de Chōshū. Il a formé un gouvernement composé de hauts-fonctionnaires, de militaires et d'aristocrates, apparaissant ainsi comme l'un des derniers représentants du hambatsu à obtenir le poste de Premier ministre (le dernier étant Kiyoura Keigo en 1924), et l'un des premiers issus de la gunbatsu.
Il occupe le poste de ministre de la Guerre à compter de 1902. À ce titre, après l'assassinat du Résident général en Corée Hirobumi Itō par le résistant An Jung-geun le à Harbin, il prend en main l'administration de ce pays, déjà sous protectorat japonais depuis 1905, en vertu du traité d'Eulsa, que le gouvernement coréen refuse de signer. Il fait ensuite signer au dernier Empereur coréen Sunjong le traité d'annexion de la Corée du , à la grande satisfaction du gouvernement japonais.
Il démissionne de son poste de premier ministre, le , en raison des émeutes du riz de 1918, qui se sont diffusées sur l'ensemble du japon, en raison de l'inflation, et meurt l'année suivante.
Peter Duus. The Abacus and the Sword: The Japanese Penetration of Korea, 1895-1910 (Twentieth-Century Japan - the Emergence of a World Power. University of California Press (1998). (ISBN0-520-21361-0).