L'idée de Jeux panaméricains avait été évoquée une première fois lors des Jeux olympiques d'été de 1932 et une ébauche est tentée à Dallas en 1937. Un congrès panaméricain décide de les organiser en 1942 à Buenos Aires mais Pearl Harbor les renvoie à la fin de la guerre. Finalement, après un second congrès en 1948, dirigé par Avery Brundage, c'est seulement en 1951 que le régime péroniste peut les organiser.