Es va construir com la segona i més gran residència de la família Radziwill a Vílnius. L'edifici actual el va manar edificar pel príncep polonès-lituà Janusz Radziwill, i es va aixecar entre els anys 1635 i 1653, amb disseny de l'arquitecte Jan Ullrich. El complex va quedar ruïnós després de la guerra dels Tretze Anys i va estar abandonat durant molts anys. Durant la Primera Guerra Mundial va ser àmpliament devastat, conservant-se tan sols la seva ala nord. A la dècada de 1980 va ser restaurat parcialment per allotjar una secció del museu d'art lituà.
La seva arquitectura és tardo renacentista, amb traçats del renaixement holandès i decoracions manieristes lituanes. La seva disposició simètrica original evocava el renaixement francès tardà, concretament als parisencs palaus de Fontainebleau i de Luxemburg a París.
