Am 6. Januar 1862 wurde er von Pius IX. zum Erzbischof des Erzbistums Warschau ernannt und empfing am 26. Januar 1862 durch Erzbischof Waclaw Zylinski in St. Petersburg die Bischofsweihe. 1863 wurde er von der Regierung im Rahmen der zaristischen Maßnahmen gegen den Januaraufstand für 20 Jahre nach Jaroslawl verbannt. Dort baute er die römisch-katholische Pfarrgemeinde auf und unterstützte andere Verbannte.
Nach Verhandlungen zwischen dem Zarenreich und dem Heiligen Stuhl wurde ihm die Ausreise aus Russland erlaubt. Am 15. März 1883 verzichtete er auf das Amt des Erzbischofs von Warschau und wurde von Leo XIII. zum Titularerzbischof von Tarsus ernannt. Die letzten 12 Jahre seines Lebens verbrachte er in Galizien.
Felińskis sterbliche Überreste wurden 1920 nach Warschau überführt, wo sie in der Johanneskathedrale verehrt werden.
