Народився в князівстві Тьосю в сім'ї самурая з клану Хаґі.
У війні Босін воював на боці імператора як солдат і після цього отримав звання молодшого лейтенанта. У ході повстання Сайґо Такаморі в Сацумі Терауті втратив праву руку. Однак це каліцтво не завадило зробити військову та політичну кар'єру.
Військова кар'єра
У 1882 став військовим аташе у Франції. Після цього, в 1898, призначений першим головним інспектором бойової підготовки. У 1901 став міністром армії в першому кабінеті Кацури Таро. Він залишався на посаді протягом російсько-японської війни, яка принесла Японії перемогу. Після війни йому було присвоєно титул барона, а в 1911 — графа.
Генерал-резидент Кореї
Терауті став генерал-резидентом Кореї 30 травня1910, змінивши на цій посаді Соне Арасуке. Його призначення багато в чому стало наслідком вбивства Іто Хіробумі Ан Чунгином на Харбінському вокзалі. Терауті Масатаке завершив процес приєднання Кореї, підписавши Договір про приєднання Кореї до Японії. З корейської сторони підпис поставив прем'єр-міністр Лі Ваньон, уповноважений імператором Кореї Сунджоном. Після оприлюднення договору 29 серпня1910 Терауті став першим генерал-губернатором Кореї.
Генерал-губернатор Кореї
Договір про приєднання Кореї до Японії був негативно прийнятий значною частиною корейців. Для придушення опору Терауті вдався до військових заходів.
Вважав, що у корейців і японців спільні корені, тому за його наказом в Кореї було відкрито кілька тисяч шкіл, де вивчалася японська мова й література.
Провів земельну реформу в Кореї: створено земельний кадастр, однак складався він виключно на основі письмових документів, між тим як земельні відносини в Кореї часто регулювалися за допомогою звичайного права. Це призвело до втрати землі значною частиною корейських селян.
Прем'єр-міністр Японії
У 1916 став прем'єр-міністром Японії. У тому ж році він отримав титул маршала. У своєму кабінеті Терауті поєднував пости прем'єр-міністра, міністра фінансів і міністра закордонних справ.
Проводив агресивну зовнішню політику. Він спонсорував протиборчі групи в уряді Китаю, сподіваючись використати їх розбіжності як привід для японського втручання. Він підписав угоду з США, які визнавали «особливі інтереси Японії в Китаї». За наказом Терауті японські війська захопили німецьку колонію Циндао, виконуючи союзницькі зобов'язання перед Антантою.