En 1933, Toni Merkens acquiert son premier titre national en vitesse en amateur. Il renouvelle ce succès en 1934 et 1935, gagnant également le Grand Prix de Paris de vitesse et le championnat britannique. Quatrième du championnat du monde amateur en 1934, il remporte le titre mondial l'année suivante en battant Arie van Vliet en finale.
Son année 1935 fructueuse en fait le favori des Jeux olympiques de 1936 se déroulant à Berlin. Il bat à nouveau Arie van Vliet, malgré une finale controversée. Van Vliet dépose en effet une réclamation contre Merkens, estimant que ce dernier l'a gêné dans son sprint. Le jury lui donne raison, mais ne déclasse pas Merkens et lui inflige une amende de 100 francs-or.
Toni Merkens devient professionnel dès après les Jeux olympiques. Il remporte deux championnats d'Allemagne, en demi-fond en 1940 et en vitesse en 1942.
En 1942, Toni Merkens est mobilisé. Touché au cœur et au poumon par un éclat de grenade sur le front de l'est, il meurt le au lazaret de Bad Wildbad.
