Az ingatlant 1564-ben vásárolta I. Ferdinánd magyar király, amikor Prágát, amelynek a huszita háborúk kirobbanása óta csak püspöke volt, a pápa ismét az érsekség rangjára emelte. A király az érseket a Kisoldal püspöki udvaránál méltóbb helyen, a várhoz közelebb kívánta elhelyezni. Máig ez a prágai érsek székhelye; mivel a Kisoldalon az egykori püspöki rezidencia a második világháborúban elpusztult, a palota annak funkcióit is átvette.
Az épületegyüttest ezután többször átépítették. Mai alakja többé-kevésbé őrzi a 17–18. század fordulójáról Jean-Baptiste Mathey francia építész változatának fő elemeit (ő tervezte a Toszkánai palotát és a Troja-palotát is). Rokokó külsejét 1760 után kapta. Homlokzatát Antonín Příchovský érsek megbízásából Joseph Wirch építette; az érsek címere a főbejárat fölött látható. Ezt és a homlokzat egyéb díszítményeit Ignaz Franz Platzer faragta (1765). Belső részei megőrizték korábbi, reneszánsz jellegüket. A palota belseje különösen szép; a második emelet termeinek nyolc darabból álló gobelin-sorozatát François Desportes tervezte, és 1756-ban, a párizsiNeilson-műhelyben szőtték.