Jusqu'au XIXe siècle, le terrain faisait partie de l'enceinte de Vienne, un ensemble de fortifications protégeant la capitale. En 1809, au cours de la guerre de la Cinquième Coalition, les troupes de Napoléon Ier occupèrent la ville, ils ont fait sauter le bastion massif en face de la Hofburg. Les derniers vestiges furent enlevés entre 1817 et 1819.
Sur les surfaces libres ainsi obtenues, la Heldenplatz a été construite sous le règne de l'empereur François-Joseph, comme partie de ce qui devait devenir le Kaiserforum (« Forum impérial »), un vaste projet architectural qui a débuté en 1871 mais ne fut jamais terminé. Modifiée d'après les plans des architectes Gottfried Semper et Karl von Hasenauer, la Heldenplatz se situe à l'intérieur du Ring, immédiatement adjacente à la Neue Burg au sud-est. Le côté opposé n'a jamais été aménagé ; de là, on a une belle vue sur le boulevard avec le bâtiment du Parlement, l'hôtel de ville et le Burgtheater.
Au sud-ouest, entre la place et le Ring, se trouve la porte extérieure de la Burg (Äußeres Burgtor), également appelée « porte des Héros » (Heldentor). Construite sur les fondements de l'ancienne enceinte, elle fut inaugurée à l'anniversaire de la bataille de Leipzig le . À l'origine un lieu de mémoire des soldats dans les guerres napoléoniennes, elle est aujourd'hui une tombe du Soldat inconnu.
Après la Première Guerre mondiale et la dissolution de la monarchie austro-hongroise, la Heldenplatz a été le théâtre de grandes manifestations et de défilés de l'Armée fédérale. D'importants événements y eurent lieu tels que la proclamation par Adolf Hitler de l'Anschluss (annexion) de l'Autriche au Troisième Reich le . L'Armée autrichienne continue, à ce jour, à célébrer la fête nationale, le , on organisant une promesse sacramentelle des recrues rassemblées sur la place. Depuis l'anniversaire de la libération du nazisme, le , une manifestation silencieuse en souvenir des victimes y a lieu chaque année, accompagnée d'un concert de l'Orchestre philharmonique de Vienne initié par le Comité autrichien de Mauthausen.
Littérature
Bien que la place ait accueilli de nombreux événements depuis, le discours fait par Hitler lui a donné une forte connotation négative dans la perception publique. C'est la raison pour laquelle la Heldenplatz a été le sujet de nombreuses œuvres littéraires, en particulier de la pièce de Thomas Bernhard, Place des Héros, et d'un poème d'Ernst Jandl, Vienne : Heldenplatz. Jandl lui-même, à l'âge de douze ans, était présent ce jour-là à la Heldenplatz.