Die Burg wurde zur Zeit des Übergangs vom Mittelalter zur Renaissance gebaut. Der Tag der Grundsteinlegung war laut einer umstrittenen Inschrift auf einer Reliefabbildung über dem Portal der Burg der 2. Mai 1499: „Am 2. Mai 1499 legte ich, Jens Holgerson, den ersten Grundstein für diese Burg.“ Glimmingehus wurde von Jens Holgersen Ulfstand (1450–1523) erbaut, der seit 1487 königlich dänischer Statthalter auf Gotland war und 1511 zum Reichsadmiral ernannt wurde. Architekt der Burg war der westfälische Baumeister Adam van Düren (etwa 1487–1532). Das Hauptgebäude der Burg ist 30 m lang, 12 m breit und hat eine Höhe von 26 m zwischen Boden und Giebelspitze. Die Burg sollte vornehmlich dem Schutz vor Bauernaufständen dienen.
Obwohl Burgen zu dieser Zeit primär für den Schutz gebaut wurden, wurde meist trotzdem dem Komfort vor der Sicherheit der Vorrang gewährt. Glimmingehus ist hier eine Ausnahme. Mehrere Fallen wurden angelegt, um Angreifer zu überraschen. Mauerreste lassen vermuten, dass die Burg einst von einer äußeren Ringmauer umgeben war.
Vom Äußeren her entspricht sie einem nostalgischen Blick auf das Mittelalter. Die bei Ausgrabungen gefundenen Einrichtungsgegenstände lassen jedoch auf ein modernes Inneres schließen. Die extravagante Zeit mit spanischer Keramik und venezianischem Glas, die im frühen 16. Jahrhundert zu den teuersten in Europa zu kaufenden Gegenständen gehörten, endete wahrscheinlich mit dem Tod Jens Holgersons. Später wurde die Burg als Getreidelager zweckentfremdet. Der heutige Wassergraben geht auf eine Restaurierung im 20. Jahrhundert zurück, jedoch zeigen Bilder aus dem 17. Jahrhundert, dass bereits früher ein Wallgraben bestand.
Im Schonischen Krieg wurde von schwedischer Seite erwogen, die Burg abzureißen, damit sie nicht in dänische Hände fallen konnte. Jedoch erwies sich ein Abbruch als zu kostspielig und zu zeitintensiv und wurde daher nie vollzogen. Die Burg ist heute im Besitz des Staates und wird vom Riksantikvarieämbetet verwaltet.
