Il suit les cours de l'institut technologique Wentworth à Boston et commence à travailler dans le bâtiment, fondant sa propre entreprise en 1930. Pendant la Seconde Guerre mondiale, il est volontaire pour servir dans l'US Navy comme formateur dans une unité de génie militaire, les Seabees.
Le , il se marie à Jennie Benedetto ; le couple a deux enfants : John, Jr. et Jean.
Il est élu gouverneur du Massachusetts en 1960 face au candidat démocrateJoseph Ward. Son mandat dure de 1961 à 1963, mais il est battu de peu en 1962 par Endicott Peabody. Il candidate de nouveau en 1964 face à Peabody et l'emporte. Il est de nouveau vainqueur en 1966, et ce pour un mandat de quatre ans après modification de la constitution de l'État[4].
Pendant ses mandats de gouverneur, il signe des lois luttant contre le déséquilibre racial dans l'éducation, réorganise le Board of Education de l'État, libéralise les lois sur le contrôle des naissances et augmente le nombre d'habitations pour les familles à faibles revenus. Il augmente aussi le budget de l'État en montant la taxe de l'État sur les ventes à 3 %. Il est président de l'association des gouverneurs (National Governor's Association) entre 1967 et 1968.
Il est candidat à l'investiture républicaine pour l'élection présidentielle de 1968. Il est battu de très peu dans la primaire du Massachusetts par un candidat non-inscrit sur les bulletins de vote (write-in), le gouverneur de l'État de New York, Nelson Rockefeller[5]. Après cet échec cuisant, John Volpe espérait être choisi comme candidat à la vice-présidence par le Parti républicain, à côté de Richard Nixon comme candidat à la présidence, mais c'est Spiro Agnew qui est désigné.
Après l'élection de Richard Nixon en 1968, Volpe est nommé secrétaire aux Transports de l'administration Nixon. Il démissionne de son poste de gouverneur, et est remplacé par le lieutenant-gouverneur Francis W. Sargent. Il est secrétaire aux Transports entre le et le . Sous sa direction, l'Amtrak est créée.
En 1973, il est nommé ambassadeur des États-Unis en Italie. Il est confirmé par le Sénat et reste en poste jusqu'en 1977, démissionnant après l'élection de Jimmy Carter.
Il meurt en 1994 et est enterré au cimetière de Forest Glade, à Wakefield. Le centre de logistique des transports de Cambridge porte son nom (John A. Volpe National Transportation Systems Center) ainsi que la bibliothèque du lycée de Wakefield (Governor John A. Volpe Library).