Shimizu est diplômé de l' école supérieur de commerce de Tokyo (aujourd'hui, Hitotsubashi University). Il forge sa musculature en coupant l'herbe à la faucille pour nourrir les vaches de son père qui en échange paie ses frais de scolarité. Résidant à Calcutta où il mène des activités commerciales, il y remporte à quatre reprises le championnat régional.
Joueur doté d'une intelligence de jeu élevé, d'un bon revers ainsi que sa volée mais un service et un coup droit faible.
Premier japonais à participer au tournoi de Wimbledon en 1920, il perd en finale (All Comers Round) contre Bill Tilden devant 14 000 spectateurs (6-4, 6-4, 13-11) et ne peut donc tenter sa chance dans le Challenge Round. Sur son parcours, il élimine notamment Gordon Lowe puis André Gobert. Il faudra attendre 2014 et la finale de Kei Nishikori à l'US Open pour revoir un japonais en finale d'un tournoi du Grand Chelem. L'année suivante, il atteint les demi-finales grâce à une victoire en cinq sets sur Randolph Lycett mais s'incline contre le champion espagnol Manuel Alonso. Après ses performances en Coupe Davis en fin d'année, le critique A. Wallis Myers le classe à la 4e place mondiale. En 1922, il dispute notamment les quarts de finale de l'US Open. Lors du tournoi de Sea Bright, il bat Jean Borotra (6-0, 6-3)[1].
En 1921, l'équipe du Japon de Coupe Davis composée de Zenzo Shimizu et Ichiya Kumagae participe à sa première Coupe Davis. Elle passe deux tours par forfait puis élimine l'Inde (5-0) et l'Australie (4-1) et parvient en finale mais échoue contre les États-Unis (5-0). Shimizu est le plus près de gagner un match puisqu'il a mené 7-5, 6-4, 5-3 contre Bill Tilden mais ce dernier remporte finalement la troisième manche 7-5 puis après une interruption due à la pluie les deux derniers sets 6-2, 6-1. Il joue en Coupe Davis jusqu'en 1927.
En 1954, il prend en main l'équipe de Coupe Davis japonaise qui se rend au Mexique. Après la défaite, il se rend aux États-Unis sur la tombe de Bill Tilden mort l'année précédente, l'américain avait dit beaucoup de bien de lui dans son livre sur le tennis de 1922 et le considérait comme un ami.
Il y a dans son ancien lycée de Takasaki une plaque à son nom.