Benché una sede arcivescovile esistesse dal XII secolo, il palazzo risale all'intervento di Carlo Borromeo nel XVI secolo, che volendo abitare stabilmente nel palazzo, ne ordinò un completo rifacimento. I lavori furono affidati come consuetudine dell'arcivescovo a Pellegrino Tibaldi, che iniziò i lavori di rifacimento dal 1565. Del precedente palazzo rimangono tracce di finestre e fregi in terracotta sulla facciata laterale in piazza Duomo, sulla facciata posteriore su via delle Ore, e nel portico di ingresso[1].
La facciata deve il suo aspetto a Giuseppe Piermarini, che ristrutturò il palazzo nel 1784. L'elemento di maggior interesse è il portale manierista del Tibaldi. All'interno, degno di nota è il Cortile della Canonica, che con il doppio ordine di archi a tutto sesto in bugnato, esempio dell'austera architettura voluta dallo spirito della controriforma[2].