Après avoir été envoyé en Europe et aux États-Unis en 1929, il est promu Commander en 1929, et devient capitaine du croiseur Tama en 1931. En novembre 1934, il reçoit le commandement du cuirassé Ise, et en 1935, il devient chef d'état-major du district naval de Sasebo[2]. Il est promu contre-amiral la même année. Il devient vice-amiral en 1939.
En juin 1940, Shimizu est nommé commandant en chef de la flotte d'entraînement de la Marine impériale japonaise. Cependant, en juillet 1941, il est transféré pour prendre le commandement de la 6e Flotte, qui est composée des forces sous-marines japonaises. Il servait à ce titre lors de l'attaque de Pearl Harbor, et a autorisé la force sous-marine de poche qui a tenté de pénétrer les défenses américaines au début de l'attaque[3].
Le 1er février 1942, une force opérationnelle américaine a effectué un raid sur Kwajalein, Wotje et Maloelap dans les îles Marshall, coulant trois navires, en endommageant huit et détruisant de nombreux avions et installations au sol. Le porte-avions américain USS Enterprise ne subit que des dommages mineurs lors de la contre-attaque japonaise, et comme il n'a pas réussi à couler le porte-avions avec ses sous-marins, Shimizu est réaffecté en juillet 1942 pour prendre le commandement de la 1re Flotte de la Marine impériale japonaise. La 1re Flotte était constituée de la flotte de cuirassés japonais, et était tenue en réserve en attendant la "bataille décisive" selon la doctrine japonaise du Kantai Kessen, de sorte que le transfert signifiait que Shimizu était retiré du service de première ligne. Cependant, le 8 juin 1943, alors qu'il était ancré dans le port de Kure, le cuirassé japonais Mutsu explosa et coula dans un accident. Shimizu fut contraint d'accepter la responsabilité de l'accident et se retira du service actif le 21 février 1944.
Mitsumi Shimizu est décédé le 5 mai 1971, à l'âge de 83 ans