У 1884 році був посланий до США на чотирирічне стажування. Після повернення до Японії у 1888 році поступив на службу при Генеральному штабі флоту Японії.
Сайто знову став заступником міністра флоту на початку російсько-японської війни. 6 червня1904 року отримав звання віце-адмірала. Після закінчення війни протягом 6 років служив міністром флоту (з 1906 по 1912 роки). Основним завданням Сайто стало збільшення флоту.
Після вбивства прем'єр-міністра Інукаї Цуесі15 травня1932 року фанатиками з числа моряків, які вважали, що Інукаї схильний до переговорів з ворогом (Інцидент 15 травня), князь Сай'ондзі Кіммоті, останній з Ґенро, вирішив покласти край пануванню військових в уряді. Як компроміс на пост прем'єр-міністра був призначений Сайто. Садао Аракі залишився міністром оборони і негайно почав вимагати відставки уряду Сайто. Під час правління Сайто, Японія визнала незалежність Маньчжурії і вийшла з Ліги Націй.
Термін перебування Сайто на посаді прем'єр-міністра став одним із найдовших у міжвоєнний період. 8 липня1934 року кабінет Сайто пішов у відставку у зв'язку з корупційним скандалом. Новим прем'єр-міністром став Кейсуке Окада.
Сайто залишився впливовим політиком: 26 грудня1935 року він став міністром-хранителем печатки Японії.