Borgen blev bygget i 1100-tallet efter den normanniske erobring af England af en normannisk lord og ejet af slægterne de Lacy og Mortimers til Edvard 4. blev konge i 1461. I Tudortiden blev der udført betydelige ombygninger på slottet, og det forblev i kongelig eje helt til 1811. Det tilhører i dag jarlen af Powys.