Namnet Byströms villa kommer från husets skapare, den svenske konstnärenJohan Niclas Byström, som räknades till Europas främsta skulptörer och var elev till Johan Tobias Sergel. Efter många år i Italien beslöt han 1828 att återvända till Sverige för att bygga ett konstmuseum över sig själv och sina arbeten. Villan skulle bli Byströms livsverk – ”något djevla gentilt” som han uttryckte det. Arkitekturen var i romersk stil med atrium, rotunda och lanternin. Han använde marmor från sitt eget marmorbrott i Carrara och köpte fontäner, vaser, alabasterkolonner och andra föremål till huset. Byggnaden stod färdig 1844, men Byström hade inte mycket glädje av det; han dog 1848 i Italien.
Efter Byström ägdes villan av juveleraren och konstsamlaren Christian Hammer. Hans avsikt var att använda villan som ett museum för sina egna samlingar, inklusive ett bibliotek på 120 000 volymer. Efter Hammers död såldes huset 1905 till prins Carl, bror till Gustaf V.
Prins Carls palats
När villan kom i prinsens ägo skulle huset anpassas till tidens smak och Ferdinand Boberg fick i uppdrag att stå som arkitekt för omdaningen. Boberg hade redan tidigare anlitats av prins Carl för ombyggnaden av Parkudden på Djurgården. Den energiske Boberg utförde en omfattande och mycket genomgripande om- och tillbyggnad av villan. Takhöjden förändrades, rum lades till, en ny byggnadsdel tillfördes och mycket av den fasta, ursprungliga inredningen togs bort eller förändrades.
Bobergs renovering blev hårt kritiserad och det sades att han gjort om villan till oigenkännlighet. Trots Bobergs stora förändringar finns många detaljer från Byströms villa kvar i interiören, som hyllningsfrisen till Karl XIV Johan i marmor på övre galleriet och entréhallens marmorkolonner och marmorgolv.
Prins Carl och hans hustru prinsessan Ingeborg med barnen bebodde villan under många år fram till 1923, då familjen av ekonomiska skäl fick lämna huset. År 1928 inköptes villan av Spaniens kung Alfonso XIII som officiellt residens för den spanske ambassadören.
