Eventuellt kan platsen tidigt ha hyst en fornborg. Enligt den folkliga traditionen i bygden skall en borg ha anlagts på platsen av den norske kungen Olav den helige, men det finns inga belägg för detta.
Vad som är belagt är att en träpalissad byggdes på platsen av väpnaren Nils Ragvaldsson på Åby (i nuvarande Sotenäs kommun) efter en svensk inbrytning i Viken (norra Bohuslän) 1503 eller 1504. Redan vid julnatten 1504 överfölls borgen av hövitsmannen på Bohus fästning, Otte Rud. Svenskarna firade jul med drickande och överraskades av de danska trupperna som lyckades erövra fästet som sedan förstördes. Nils Ragvaldsson lyckades fly över till den svenska gränsen.[1]
Befästningarna återuppbyggdes efter Sveriges inbrytning i Bohuslän i samband med oredan då danskarna avsatte kung Kristian II 1523. Norra Bohuslän styrdes åren 1523–1525 från Olsborg av Ture Jönsson (Tre Rosor) och Nils Olofsson (Vinge).[2] Befästningarna förbättrades, särskilt 1526. Den svenska förvaltningen av norra Bohuslän flyttades 1525 till Karlsborg söder om Hamburgsund. Vid Kristian II:s försök att återta sina riken intogs såväl Karlsborg som Olsborg av en norsk styrka i december 1531 och bägge befästningarna ödelades. Såväl Erik XIV:s försök 1564, samt Johan III:s 1569 och 1570 att återupprätta Olsborgs befästning men planerna avbröts efter Freden i Stettin.[3]
Ännu under det tidiga 1900-talet syntes några lämningar av den gamla borgen, och Wilhelm Berg företog där utgrävningar i början av 1900-talet, varvid betydande förskansningar blottades.
