Palác byl v první třetině 19. století sídlem městské šlechtické rodiny Sándorů. Byl postaven v letech 1803–1806 podle projektu Mihály Pollocka. Móris Sándor palác prodal v roce 1831 rodině hraběte Pallaviciniho. V jejich rodinném archivu byla nalezena řada kreseb a novější popis paláce, které byly použity při pozdější rekonstrukci.
Po porážce revoluce v letech 1848-49 palác opět změnil majitele. V letech 1851-1856 se stal sídlem arcivévody Alberta, maďarského místodržitele.
Premiér, hrabě Gyula Andrássy, z paláce v roce 1867 učinil sídlo své vlády. V roce 1941 se zde zastřelil předseda vlády hrabě Pál Teleki ze zoufalství nad svou neúspěšnou zahraniční politikou vůči nacistickému Německu. Budova byla při obležení Budapešti v roce 1944 vážně poškozena.
Po roce 1989 byl palác zrekonstruován a stal se sídlem prezidenta.
Architektura
Palác je třípodlažní klasicistní budova. Na vnějším průčelí je pod korunní římsou umístěn kamenný vlys s reliéfem tančících múz podle návrhu Miklóse Melocca.
