Fue reformado por primera vez en 1776 por Vicente Barcenilla y más tarde, entre 1802 y 1803 por Antonio López Aguado, adaptándolo este último a la moda neoclásica del momento. Sus famosos jardines asimismo fueron reformados en 1920 por Javier de Winthuysen. Posteriormente ha sido rehabilitado en varias ocasiones entre 1983 y 1986.º