In 1747 gaf Peter III van Portugal, de vierde zoon van Johan V van Portugal en Maria Anna van Oostenrijk, aan Mateus Vicente de opdracht om zijn 17e-eeuwse jachtverblijf te verbouwen tot een rococopaleis. Eerst kwam het centrale deel, maar na Pedro's huwelijk in 1760 met zijn nichtje, de toekomstige Maria I werd het paleis uitgebreid. De Franse architect Jean- Baptiste Robillon voegde het Robillon-paviljoen en de tuinen toe, maakte ruimte voor de troonzaal en veranderde de muziekzaal. De koninklijke familie hield er een menagerie op na en ging uit varen op een met “azulejos” betegeld kanaal.
Toen koningin Maria I in 1794 op de troon kwam werd het paleis de officiële residentie van het Portugese koningshuis.