Palác byl vybudován v letech 1718-1722 podle plánů architekta Armanda Clauda Molleta. Krátce předtím koupil pozemek hrabě z Evreux, Henri-Louis de la Tour d'Auvergne. Po jeho smrti v roce 1753 získala palác od krále darem Jeanne-Antoinette Poisson, známá jako madame de Pompadour a nechala přestavět jeho interiéry. Zahrada byla zvětšena, vybavena sloupovím a podloubím a labyrintem. V té době byla Jeanne-Antoinette Poisson již několik let oficiální milenkou francouzského králeLudvíka XV., kterému v roce 1764 svou rezidenci odkázala. Palác byl nyní v majetku Bourbonů a sloužil Ludvíkovi XV. nejprve k ubytování vyslanců a později jako výstavní prostor pro obrazy. V roce 1773 král prodal palác jednomu bankéři, ovšem jeho nástupce Ludvík XVI. jej v roce 1786 získal zpět a přenechal ho své sestřenici, Bathildě Orleánské, vévodkyni Bourbonské.
Za Velké francouzské revoluce byla vévodkyně v dubnu 1793 uvězněna a uvolněný palác sloužil jako sklad nábytku zabaveného emigrantům a zatčeným. Ačkoliv vévodkyně získala palác o čtyři roky zpět, odešla později do exilu do Španělska.
Salon Pompadour
V roce 1805 palác získal Joachim Murat, švagr Napoleona I. a nechal ho přestavět. Tak vznikl plesový sál, který slouží od dob prezidenta Georgese Pompidoua k zasedání francouzské vlády (rada ministrů). Když se stal v roce 1808 králem v Neapoli, převzal palác opět Napoleon I. pro svou manželku Joséphine.
