Auf dem Burgberg, einem Grundmoränenzug, befand sich in vorgeschichtlicher Zeit eine Burg namens Tarvanpe.
Die Erfolge des Deutschen Ordens gegen die Prußen und des Schwertbrüderordens in Livland veranlassten den dänischen KönigWaldemar II. ebenfalls einen Kriegszug gegen die heidnischen Esten durchzuführen. 1219 landeten die Dänen an der Küste Estlands und besetzten nach und nach den Nordosten Alt-Livlands.
Bis zur Mitte des 13. Jahrhunderts erbauten die Dänen die ersten steinernen Gebäude auf dem Burgberg. Sie hatten die Form eines Kastells und waren von ausgedehnten hölzernen Palisaden umgeben. 1267 wurde die Burg erstmals in russischen Quellen als Rakovor erwähnt. 1268 fand in der Nähe der Burg die Schlacht bei Wesenberg statt, die mit einem Sieg der vereinigten russischen Truppen aus Nowgorod und Pskow über die vereinigten Truppen der Dänen und der Schwertbrüder endete. Dies führte dazu, dass die Verlierer für ca. 30 Jahre ihre Expansionsversuche nach Russland einstellten.
1346 verkaufte Dänemark sein livländisches Herrschaftsgebiet an den Deutschen Orden. Bald danach begann der Orden, die Burg als Sitz eines Vogtes auszubauen. Das dänische Kastell wurde zu einem Konventshaus mit wesentlich größerem Grundriss umgebaut. Dabei wurde weitgehend die vorhandene Bausubstanz genutzt. An der Südseite entstanden an den Ecken zwei schlanke Treppentürme. Die regelmäßige südliche Vorburg entstand ebenfalls in dieser Zeit. Anfang des 16. Jahrhunderts wurde der rondellartige Turm errichtet.
Im Livländischen Krieg (1558–1581) besetzten die Russen die Burg und errichteten eine weiträumige unregelmäßige äußere Ringmauer.
Nach starken Beschädigungen im 16./17. Jahrhundert gab man die Burg auf. Nach dem Nordischen Krieg (1700–1721) benutzten die Einwohner Rakveres die Burg als Steinbruch, um ihre zerstörte Stadt wieder aufzubauen.