Stedet, hvor Carisbrooke Castle ligger, kan have været beboet siden førromersk tid. Rester af en mur indikerer, at der har været en bygning her i slutningen af romersk britannien. I den Angelsaksiske Krønike nævnes Wihtgar, fætter til kong Cynric af Wessex, der døde i år 544 og blev begravet her. Jyderne har muligvis overtaget fortet i slutningen af 600-tallet. En angelsaksisk fæstning lå på stedet i 700-tallet. Omkring år 1000 blev der opført en mur omkring bakken for at forsvare området mod vikingernesplyndringstogter.
Middelalderen
Fra omkring 1100 var borgen i Richard de Redvers' families besiddelse, og over de næste to århundreder forbedrede hans efterkommere fæstningen med stenmure, tårne og et keep. I 1293 solgte grevinde Isabella de Fortibus, den sidste af beboer fra Redvers, borgen til kong Edvard. Herefter blev den styret af forskellige af kronen repræsentanter.[2]
