Dvorac Penfro. Prvi dvorac na ovom mjestu sagrađen je 1093. godine kad je Arnulf od Montgomeryja fortificirao promontorij tijekom normanske invazije na Wales.
Normanska invazija na Wales uslijedila je malo poslije normanskog osvajanja Engleske pod Williamom I. Osvajačem, koji je smatrao da je Engleska njegova po pravu rođenja. William nije namjeravao pored Engleske osvojiti i Wales. Velški napadi pod vodstvom kralja Gruffudda ap Llywelyna, ujedinitelja Walesa, protiv Normana u Engleskoj, koji su započeli godinu prije normanske invazije 1066. godine, izazvali su Williama. U početku (1067.–1081.) invazija na Wales nije poduzeta sa žestinom i radi invazije na Englesku. Ipak, snažnija normanska invazija počela je 1081. i do 1094. godine većina Walesa bila je pod nadzorom Williamovog najstarijeg sina, kralja Williama II. Velšani nisu bili naklonjeni "bespotrebno okrutnim" Normanima i do 1101. godine vratili su nadzor nad većim dijelom svoje zemlje, a pod dugim kraljevanjem kralja Gruffudda ap Cynana, koji je pobjegao nakon dvanaest godina normanskog zatočeništva. Gruffuddu je neizravno pomogao norveški kralj Magnus III. Bosonogi koji je kratko napao Normane kod obala otoka Môna (eng. Isle of Anglesey) u sjeverozapadnom Walesu, blizu otoka Seiriola (eng. Puffin) ubivši pritom Hugha od Montgomeryja i ostavili desetkovane i demoralizovane Normane. Magnus je potom pošao zauzeti Orkneye, Hebride, otok Man, otoke sjeverno od Walesa i zapadno i sjeverno od Škotske i Engleske 1098. godine.
Pod Williamovim četvrtim sinom, kraljem Henryjem I., Normani, sada već dobro utvrđeni u Engleskoj, odgovorili su prodorom zapadno u Wales. Ovog je puta i Velšane i Normane više zanimalo sklopiti mir nego voditi krvave bitke te se razvila relativno stabilna situacija, premda su Normani gore prošli u jugoistočnom Walesu nego na zapadu zemlje. Pat-situacija je potrajala od 1135. do 1154. pod kraljem Stephenom, Henryjevim nećakom i Williamovim unukom po majčinskoj strani. William se upetljao u borbe za moć i građanski rat ("Bezakonje") s kraljicom Matildom, Henryjevom kćeri i jedinim preživjelim zakonitim djetetom.
