In der zweiten Hälfte des 13. Jahrhunderts wurde sie als Geschenk von Ungarns König Stephan V. an das Bistum Veszprém errichtet und bestand zunächst nur aus einem Turm, der Zisterne und einigen anderen Räumlichkeiten. Sie wurde urkundlich erstmals im Jahr 1301 erwähnt. Unter BischofAlbert Vetési wurde die Burg im 15. Jahrhundert weiter ausgebaut.
Nach dem Fall von Veszprém im Jahre 1552 wurde Sümeg Residenz des Bischofs und die Burg erneut erweitert. An der nordöstlichen Seite ließ der Bischof András Kövessy eine Kanonenbastion errichten, die noch heute nach ihm benannt ist.
Die Burg spielte während der Zeit der Expansion des Osmanischen Reichs eine wichtige Rolle. Sie wurde zwar mehrmals belagert, konnte jedoch nie von den Angreifern erobert werden. Die von der verlorenen Schlacht von Szentgotthárd zurückkehrenden türkischen Truppen eroberten die Stadt und setzten sie sowie die Burg in Brand. Unter Bischof István Sennyei wurde die Burg wieder instand gesetzt.
Während des Rákóczi-Freiheitskampfes (1703–1711) wurde die Burg von den Aufständischen erobert, konnte aber 1709 von kaiserlichen Truppen zurückerobert werden. Im Jahre 1726 wurde sie abermals angezündet und ihre Tore wurden dabei gesprengt.
Heute
In den Jahren bis zum Fall des Eisernen Vorhangs hat sich der Zustand der Burg sehr verschlechtert.
Im Jahr 1989 erhielt der derzeitige Kapitän der Burg das Betriebsrecht und machte aus ihr ein Ausflugsziel für Touristen. Es finden Ritterspiele und „mittelalterliche Abendessen“ statt. Von den wieder hergerichteten Burgmauern hat man eine sehr gute Sicht auf das umliegende Land.
Die Burg wurde inzwischen neu restauriert und saniert.
