Né dans une famille propriétaire d'une fonderie, Giovanni Michelucci y travaille dans sa jeunesse, tout en suivant des études d'architecte et en consacrant ses loisirs à la gravure sur bois. En 1920 il obtient un poste d'enseignant dans un grand institut technique à Rome. Les années suivantes il commence des projets de maisons d'habitation, par exemple la Casa Valiani construite à Rome en 1931 (défigurée depuis), qui manifeste un équilibre fonctionnel et une élégance formelle qui ne sont pas sans faire penser à Robert Mallet-Stevens.
Années trente-quarante
En 1933, à la tête d'une équipe de jeunes architectes réunis sous l'appellation « Gruppo Toscano », il remporte le concours pour la construction de la nouvelle gare centrale de Florence, édifiée de 1933 à 1935. Cette réalisation lui apporte la gloire. Elle reste reconnue comme un chef-d'œuvre absolu en tant qu'insertion réussie d'un grand bâtiment moderne d'esprit rationaliste dans un tissu urbain ancien particulièrement sensible.
Il travaillera par la suite sur la cité universitaire de Rome, en collaboration avec son célèbre confrère Marcello Piacentini, qui est en pratique l'architecte officiel du fascisme. Dans les années précédant la Seconde Guerre mondiale, il revient en Toscane occuper une chaire à l'université de Florence, et est élu président de la faculté d'architecture en 1944-1945.
Après-guerre
À Florence, dans l'immédiat après-guerre se pose le problème de la reconstruction des blocs d'immeubles situés à la sortie nord du Ponte Vecchio et détruits lors de l'entrée des Alliés dans la ville. Les solutions que présente Michelucci sont écartées au profit de projets qu'il juge d'une stérile banalité. Par dépit, il part enseigner quelques années à la faculté d'ingénierie de Bologne. Mais il revient à partir de 1950 dans sa Toscane natale (à laquelle il a consacré la majeure partie de son œuvre) pour mener à bien divers projets, notamment à Pistoia, sa ville d'origine.
Les années 1950 sont une période d'intense activité, où Michelucci fait preuve de sa capacité à se renouveler en restant toujours à l'avant-garde et de son talent à concevoir indifféremment des immeubles d'habitation ou de bureaux, des bâtiments officiels, des églises, des parcs, des usines, et à restaurer des constructions historiques (comme le Ponte alle Grazie de Florence). Il déploie par ailleurs une activité d'urbaniste en participant à l'extension du plan régulateur de Florence et en intervenant dans celui de Ferrare.
Malgré son âge avancé, Michelucci continue à surprendre dans l'articulation des fonctions avec le choix des formes et l'emploi des matériaux. Une des plus fameuses parmi ses dernières œuvres est le siège de la succursale à Colle di Val d'Elsa de la banque Monte dei Paschi di Siena, réalisé entre 1973 et 1978.
Giovanni Michelucci est décédé le , l'avant-veille de son centième anniversaire.