El edificio tiene un importante valor histórico y artístico: es la manifestación del desarrollo que alcanzó Estella en los siglos XVI y XVII, desarrollo comparable al de Pamplona o Tudela en su tiempo. Su construcción se debe a Juan de Chávarri y Larraín (†1624), primer barón de Purroy, Señor de Purroy en Aragón, Merino Perpetuo de Estella, y Contador del Consejo de la Cruzada.[3] Perteneció a la familia del barón hasta 1880, fecha en que lo vendió a otros particulares; a partir de 2000, es propiedad del Ayuntamiento. El edificio fue la residencia del gobernador militar durante el gobierno carlista (1872-1875).[4]
La obra pudo ser diseñada por Juan Gómez de Mora, a tenor de las características formales del edificio, y a la vinculación entre el citado Juan de Chávarri y el duque de Lerma, para quien Gómez de Mora trabajó.[4] La obra fue ejecutada por Juan de Yerategui (o Ierategui) y por Martín de Sarrote (o Cerrote). Se utilizó piedra procedente del derruido castillo de Estella, y de la localidad vecina de Azcona.[3]