En 1585 estivo preso neste castelo Antonio Pérez, secretario do rei Filipe II de España. Os seus partidarios planearon a súa fuxida, e para iso establecéronse na próxima vila de Muñoveros. Estes conseguiron entrar no castelo, pero a astucia do alcalde convenceunos para que desistisen do seu intento.