En 1520 sufre su primera destrucción al iniciarse un incendio que destruye completamente el palacio. Hasta 1704 no se vuelve a reedificar.
En los años 1950 era propiedad de Margarita Navia-Osorio y Rodríguez San Pedro -quien lo había heredado de su padre el Marqués de Santa Cruz de Marcenado- y se lo legó en testamento a su hijo varón Ramón Cavanilles y Navia-Osorio.
El palacio se encuentra en proceso de rehabilitación.
