La costruzione del palazzo fu avviata nel 1643, da ErmannoStanisław Koniecpolski.
Il primo nome del palazzo fu "Pałac Koniecpolskich"; quest'ultimo non venne però completato durante la vita del latifondista, infatti morì nel 1646 nella sua residenza a Brody
L'architetto del palazzo fu Costante Tencalla, architetto alla corte polacca, progettista anche della Colonna di Sigismondo. Nel 1674 l'edificio diventò, per 144 anni, proprietà della famiglia Radziwiłł
Il palazzo nel 1762
Nel 1818 il palazzo diventò la sede del viceré del Regno del Congresso Dal 1818 il palazzo è stato ricostruito in stile neoclassico, dall'architetto Chrystian Piotr Aigner (1756–1841), estendendo l'edificio, creando una grande scalinata tra il corpo principale e l'ala nord, rimodellando la facciata principale, e ridecorando le sale del primo e del secondo piano. L'esterno del piano terreno è decorato a bugnato piatto. Aigner lavorò con 2 aiutanti: Camillo Landini, che scolpì quattro leoni di pietra a guardia dell'entrata del palazzo (sul lato di Krakowskie Przedmieście) e Niccola Monti, un pittore italiano. Infine, tutte le colonne e le lesene sulla corte d'onore, vennero rimodellate in stile corinzio, modifica visibile ancora oggi. L'anno 1852 fu disastroso per il palazzo: un incendio rase al suolo tutto il corpo principale. La residenza venne ricostruita da Alfons Kropiwnicki (1803–1881). I lavori terminarono nel 1856. Le decorazioni esterne rimasero identiche alle precedenti, ma l'interno venne arricchito da Bolesław Podczaszyński.
.svg){kind=small}
.svg){kind=small}
.svg){kind=small}
.svg){kind=small}
