I 1808 var han blant de mange kardinaler som Napoleon deporterte fra Roma. Han ble først sendt til Milano, og til Paris året etter. Han klarte å utebli fra bryllupet mellom Napoléon Bonaparte og Maria-Louise av Østerrike uten å bli straffet for det. Han hevdet at han var indisponert (det er ukjent om insdisposisjonen var ekte eller innbilt) og ble unnskyldt.[trenger referanse] Han var dermed blant de "røde kardinaler".
Etter Napoleons fall i 1814 var han i stand til å vende tilbake til Roma.
