Il remporte à l'âge de vingt ans la médaille d'or des Jeux olympiques de 1952 avec la marque de 60,34 m, établissant un nouveau record du monde de la discipline, et devenant le premier athlète à lancer le marteau au-delà de la limite des soixante mètres. József Csermák devance l'Allemand Karl Storch et son compatriote Imre Németh, champion olympique en titre et précédent détenteur du record mondial.