Bischof Eskil von Lund errichtete im 12. Jahrhundert die erste Burganlage, eine geschlossene Festung mit Ringmauer und Wassergraben. An der Stelle der Burg wurde im Jahr 1180 eine Stadtkirche errichtet.[2]
Da die Anlage als äußerst sicher galt, wurde sie auch als Gefängnis für die gefährlichsten Feinde der Monarchie genutzt.[3]
Das Schloss lag zuerst an einem Fjord, der dann zum Søborger See wurde. Letzterer wurde von 1872 bis 1896 entwässert, indem ein Kanal nach Gilleleje gegraben wurde.[2]