Va ser la seva hereva, María del Pilar Teresa Cayetana de Silva Álvarez de Toledo, XIII duquessa d'Alba, qui va manar derrocar l'edificació existent, ordenant en 1777 a Pedro de Arnal la construcció de l'actual palau, més sumptuós i d'acord amb el rang de la Casa d'Alba. Aquest va idear un conjunt que sintetitza esquemes italians i francesos, amb façana urbana cap al nord. La duquessa va viure principalment en el nou i bell palau al costat del seu marit el duc José Álvarez de Toledo.
Després de la mort sense hereus forçosos de la XIII duquessa d'Alba, esdevinguda en el Palau en 1802, la Casa d'Alba va quedar incorporada en la Casa de Berwick.
No obstant això, Buenavista es va desvincular del patrimoni dels Alba, passant en 1807, per mitjà de l'expropiació, a les mans del I duc de l'Alcúdia, Manuel Godoy. Quan aquest va perdre el seu poder, la propietat va ser expropiada de nou, tornant a la Família Reial.
El 22 d'agost de 1810, el rei Josep I Bonaparte va decretar que «El palau de Buenavista queda destinat per al museu de pintures, manat establir pel nostre decret de 20 de desembre de 1809» (Gazeta de Madrid núm. 236, 24 d'agost de 1810, pàg. 1056). Per aquesta raó, s'entén que anava a ser la seu de l'actual Museu del Prado, però després de la marxa de Bonaparte es va triar un altre edifici per a tal museu i aquest finalment es va cedir a l'Exèrcit. Es va convertir així en seu del Ministeri de Guerra en 1847, emprenent-se nombroses obres de reforma i ampliació, sumant un quart pis a la seva altura.
.jpg)
