Jako że w Japonii wciąż obowiązywała izolacjonistyczna polityka sakoku powrócił do Francji, gdzie bezskutecznie próbował zainteresować rząd ewangelizacją Japonii. 5 października 1847 podczas pobytu w Rzymie otrzymał nominację na proprefekta apostolskiego Hongkongu, pozostając wikariuszem apostolskim Japonii. Założył pierwszy sierociniec w Hongkongu. W 1850 zrezygnował z urzędu proprefekta apostolskiego Hongkongu.
Zawarł porozumienie z jezuitami, powierzając im misje w Japonii. W 1852, gdy Kongregacja Rozkrzewiania Wiary uznała, że przekroczył tym swoje uprawnienia, złożył rezygnację z urzędu wikariusza apostolskiego Japonii.