Nel luogo in cui sorge l'attuale castello, si trovava una fortezza normanna, che insieme al il castello di Grosmont e al White Castle, era stata realizzata agli inizi del XII secolo per volere di re Stefano a protezione dei confini tra Galles e Inghilterra.[1][4].
Nel XIII secolo, questo fortezza, unitamente alle altre due che costituivano i "Tre castelli", divenne di proprietà di Hubert de Burth.[1]
A differenza di Grosmont, il castello preesistente fu demolito e al suo posto venne realizzato un edificio completamente nuovo.[1]
La realizzazione del castello di Skenfrith è databile approssimativamente in un periodo compreso tra il 1219 e il 1232.[4]
Nel 1267, la signoria dei Tre Castelli, comprendente il castello di Skenfrith unitamente al castello di Grosmont e al White Castle, divenne di proprietà di Edmondo il Gobbo, conte di Lancaster.[1]
L'edificio fu parzialmente ricostruito agli inizi del XVI secolo[3], ma proprio in quel secolo fu abbandonato e lasciato cadere in rovina[1][3].