Từ năm 1915 đến 1916, Yamaguchi tham gia học về hải pháo và ngư lôi. Sau đó, ông được đưa đến làm việc tại khu trục hạm Kashi. Đến năm 1918, Yamaguchi được phong hàm Đại úy và ông được đưa đến một đơn vị hải quân có nhiệm vụ hộ tống một số tàu ngầm của Hải quân Hoàng gia Đức được chuyển đến Nhật như một phần tiền bồi thường chiến phí của Đức trong Chiến tranh thế giới thứ nhất. Từ năm 1921 đến 1923, ông là sinh viên trường đại học Princeton của Mỹ. Trở về Nhật Bản, ông làm việc trên thiết giáp hạm Nagato 6 tháng trước khi tốt nghiệp Học viện Hải quân Hoàng gia với thành tích cao. Cũng trong năm này, ông được phong quân hàm Thiếu tá.
Yamaguchi trở thành thành viên của bộ tổng tham mưu Hải quân hoàng gia Nhật vào năm 1927 và được phong quân hàm Trung tá một năm sau đó. Ông cũng có mặt trong đoàn đại biểu Nhật tham gia Hội nghị Hải quân London1929-1930. Năm 1932, ông được phong hàm Đại tá. Từ 1934 đến 1937, ông là tùy viên về hải quân cho Washington DC. Khi trở về Nhật Bản, ông lần lượt trở thành hạm trưởng của Isuzu (1936-1937) và thiết giáp hạm Ise (1937-1938).
Khi Yamaguchi sử dụng các máy bay trinh sát phát hiện ra hàng không mẫu hạm Yorktown của Hải quân Hoa Kỳ đã đánh tín hiệu cho Nagumo nên tấn công ngay lập tức. Nagumo từ chối vì ông đang bận đổi ngư lôi thay vì sử dụng bom như trước. Ý định của Nagumo là chờ lực lượng tấn công ban đầu của mình hạ cánh mới cho tấn công đợt hai. Tuy nhiên không lâu sau đó các máy bay Mỹ xuất hiện đã nhanh chóng đánh chìm ba hàng không mẫu hạm Sōryū, Akagi và Kaga của Nhật. Là hàng không mẫu hạm duy nhất của Nhật còn sót lại, chiếc Hiryū do Yamaguchi chỉ huy đã nhanh chóng mở hai cuộc tấn công vào chiếc Yorktown của Mỹ và gây hư hại nặng cho nó. Tuy nhiên đến chiều ngày hôm đó, Hiryū đã bị tấn công và đánh chìm bởi máy bay từ hàng không mẫu hạm USS Enterprise. Yamaguchi đã quyết định cùng thuyền trưởng Tomeo Kaku chết theo tàu theo truyền thống hải quân Nhật. Ngày 5 tháng 6 năm 1942, ông được hải quân Nhật truy tặng quân hàm Phó Đô đốc.