Zu Beginn des 12. Jahrhunderts errichtete William Revel, ein Gefolgsmann Bernard de Neufmarchés eine erste Burg am Fluss Wye, die 1121 erstmals als Castello de Haia genannt wird. Die Burg fiel nach dem Tod Bernards an Miles of Gloucester (Haus Pitres), den Ehemann seiner Tochter Sybil. 1166 erbte dessen Schwiegersohn William de Braose, 3. Baron of Bramber die Burg. Im Verlauf des 12. Jahrhunderts wurde die Burg an ihren heutigen günstigeren Standort verlegt. Um 1200 wurde unter William de Braose, 4. Baron of Bramber der Ausbau der Erd- und Holzbefestigung zu einer steinernen Burg begonnen. Der Sage nach soll Maud de St Valery, die Frau des 4. Barons, die Burg in nur einer Nacht erbaut haben.[3] 1208 musste de Braose die Burg wegen ausstehender Zahlungen an König Johann Ohneland verpfänden. Er begann kurz darauf eine Rebellion gegen den König, verlor alle seine Güter und starb 1211 im Exil. Sein Sohn Giles de Braose eroberte 1215 mit Hilfe des walisischen Fürsten von Gwynedd, Llywelyn ap Iorwerth die Burg zurück, die jedoch 1216 von König Johann wieder erobert und niedergebrannt wurde. Kurz danach schloss Giles Bruder Reginald einen Ausgleich mit dem König, in dem er unter anderem Hay zurückerhielt. Nachdem Reginalds Sohn William de Braose, 7. Baron of Bramber 1230 von Llywelyn ap Iorwerth wegen Ehebruchs hingerichtet worden war, wurde die Stadt und die Burg 1231 von Llywelyn niedergebrannt. Im Juli des Jahres schlug Llywelyn zudem durch den Verrat eines Mönchs der Abtei Cwmhir eine englische Armee unweit von Hay. Die Burg wurde auf Veranlassung König Heinrichs III. zwischen 1232 und 1237 wiederaufgebaut und auch die Stadt wurde mit einer Stadtmauer befestigt. Durch die Hochzeit von William de Braoses Tochter Eleanor mit Humphrey de Bohun, einen Sohn von Humphrey de Bohun, 2. Earl of Hereford fiel die Burg 1241 an die Bohuns, die später führend am Krieg der Barone zwischen Heinrich III. und Simon de Montfort beteiligt waren. Während der Vater jedoch ab 1263 wieder auf der Seite des Königs stand, blieb sein Sohn ein Parteigänger Montforts. Deshalb wurde die Burg 1264 von königlichen Truppen unter dem Kronprinzen Eduard erobert, doch bereits 1265 von Truppen Montforts zurückerobert. Der jüngere Humphrey de Bohun geriet bei der Niederlage Montforts in der Schlacht von Evesham 1265 in Gefangenschaft und starb im selben Jahr in Gefangenschaft im Kerker von Beeston Castle. Nach dem Tod von Humphrey de Bohun, 3. Earl of Hereford 1298 fiel die Burg zurück an die Krone. 1372 wurde sie an Hugh de Stafford, 2. Earl of Stafford vergeben. Während der Rebellion von Owain Glyndŵr wurde die Burg 1405 von den Rebellen belagert und schwer beschädigt, doch sie widerstand der Belagerung. In den Rosenkriegen wurde die Burg als Besitz der Earls of Stafford bzw. des Dukes of Buckingham um 1460 erneut von Truppen des Hauses York beschädigt. Der letzte Duke of Buckingham führte verschiedene Umbauten an den Wohngebäuden durch, doch er wurde schließlich 1521 wegen Hochverrats hingerichtet und Hay Castle fiel wieder an die Krone.
Während oder nach Ende des englischen Bürgerkriegs wurde die Ringmauer der Burg geschleift. In den 1660er Jahren ließ James Boyle aus Hereford anstelle der verfallenen Wohngebäude der Burg ein neues Herrenhaus errichten. Zu Beginn des 19. Jahrhunderts war das Haus im Besitz der Familie Wellington, die es von den Erben Glyn erworben hatte. Um 1910 wurde das Haus restauriert, doch der östliche Teil wurde 1939 durch einen Brand zerstört. Ein weiterer Brand zerstörte 1979 den westlichen Teil des Hauses, der jedoch wiederaufgebaut wurde. In den 1960er Jahren wurde die Burg von Richard Booth erworben, der die Bücherstadt Hay-on-Wye begründete und sich selbst zum König von Hay-on-Wye ernannte. Er nutzte die erhaltenen Teile der Burg als Antiquariat. 2011 verkaufte er die Burg an den Hay Castle Trust, eine Stiftung, die die Burg erhalten, restaurieren und als kulturelles und künstlerisches Zentrum der Bücherstadt öffentlich zugänglich machen will. Mit Unterstützung von Cadw und der Verwaltung des Brecon Beacon Nationalparks wurden 2012 Sicherungsarbeiten an der stark restaurierungsbedürftigen Anlage begonnen.
Die Ruine des Keeps, links das alte Burgtor
Anlage
Von der südwestlich der heutigen Pfarrkirche am Stadtrand gelegenen Vorgängerburg ist noch die niedrige Motte gut erhalten. Die Burg mit hölzernen Befestigungen lag über einem Zufluss des Wye. Der Burghügel ist nur etwa 3 m hoch, misst aber auf dem Gipfel 20 m Durchmesser. Die Vorburg lag vermutlich nordöstlich des Burghügels.[4]
Die heutige Burg liegt auf einem Hügel an der Südseite der mittelalterlichen Stadt. Ursprünglich lag die Burg in der Nähe des Westtors der Stadtmauer, die jedoch nicht mehr erhalten ist. Die Anlage bestand ursprünglich aus einem etwa 85 m mal 70 m großen ovalen Ringwall, der im 13. Jahrhundert mit einer steinernen Ringmauer befestigt wurde. Von der Ringmauer ist nur noch ein etwa 12 m langer Abschnitt sowie ein mit Gusslöchern versehener Torbogen erhalten. Direkt westlich an den Torbogen grenzt die Ruine des um 1200 errichteten Keep an. Der mehrfach umgebaute Turm hat eine Grundfläche von 10 m mal 8,3 m. Er besitzt über einem niedrigen Kellergeschoss drei Wohngeschosse, die teilweise noch Doppelfenster im normannischen Stil besitzen, für einen Keep jedoch recht schwaches Mauerwerk.[5] Westlich an den Keep grenzt das in den 1660er Jahren errichtete Castle House genannte Herrenhaus. Das Dach des dreigeschossigen Gebäudes im späten jakobinischen Stil ist mit mehreren Ziergiebeln reich gegliedert. Der östliche Teil ist noch Ruine, während der westliche Teil wiederaufgebaut bzw. erhalten ist.
Auf dem weiteren Burggelände sind noch Reste des formalen Gartens aus dem 18. Jahrhundert sowie der Terrassengärten des 19. Jahrhunderts erhalten.
