Nachdem im Mai 2023 von der Pariser Staatsanwaltschaft Ermittlungen gegen Colomb wegen des Vorwurfs der sexuellen Nötigung in einem Fall aus dem Jahr 2013 eingeleitet worden waren, bot dieser dem Papst den Rückzug von den Amtsgeschäften bis zur Klärung der Vorwürfe an. Papst Franziskus ernannte daraufhin am 22. Juni desselben Jahres den Bischof von Luçon, François Jacolin, zum Apostolischen Administrator sede plena von La Rochelle, womit Colombs Jurisdiktion über das Bistum bis auf weiteres ausgesetzt ist.[2]