Il s'illustre durant la saison 1991 en montant sur la troisième marche du podium des Championnats du monde de Tokyo. Sixième des Jeux olympiques de Barcelone, en 1992, il se classe troisième des Championnats d'Europe de 1994 avec 78,48 m. Le , Heinz Weis enlève son premier titre lors d'une compétition internationale majeure en remportant le concours des Championnats du monde d'Athènes avec un lancer à 81,58 m, devançant l'Ukrainien Andriy Skvaruk et le Russe Vasiliy Sidorenko.
Heinz Weis a également remporté huit titres de champion d'Allemagne.
Son record personnel est de 83,04 m, réalisé le à Francfort.