Nunha sentenza de 1136 ditada polo cardeal Guido de Boloña, feita no preito iniciado entre as dioceses de Osma e Sigüenza pola pertenza das terras de Caracena xa se fai mención da existencia dun castelo na localidade. Este primitivo castelo estivo activo no século XV durante os enfrontamentos mantidos entre os Reis Católicos e o señor da vila, Juan de Tovar. En nome daqueles, o seu leal don Pedro de Acuña, conde de Buendía, rendeu a fortaleza e confiscouna. O seu propietario e señor de Caracena, Francisco de Tovar, viuse obrigado a demolela.
En 1491, Alfonso Carrillo de Acuña, sobriño do arcebispo de Toledo, obtén o señorío de Caracena e procede á reedificación do castelo seguindo as pautas construtivas dunha época na que se xeneralizara o uso da artillaría, polo que foran concibidas tanto para a mellor defensa fronte ás armas de lume como para o seu máis eficaz emprego dende o interior. Para ese fin, responden as troneiras que espállanse polos muros castelares.
A ordenación en planta deixa ver un recinto interior en forma de cuadrilátero trapezoidal marcado por cinco cubos, nun de cuxos vértices se alza a robusta Torre da Homenaxe de forma prismática rectangular, mentres que no oposto se abre a porta que o comunica co segundo recinto disposto a xeito de corredor perimetral. O castelo queda pechado por unha segunda muralla paralela á primeira dotada de dez cubos, dous dos cales flanquean a entrada non enfrontada ao interior para dificultar o acceso no caso de asedio.
En marzo de 2016, produncíronse algúns derrubamento no Castelo[1]. O castelo está inclúido na lista vermella de patrimonio en perigo da asociación de defensa do patrimonio Hispania Nostra. Segundo esta asociación, a murralla e a torre da homenaxe son os elementos con maior perigo de derrubamento[2].
