Wykształcenie filozoficzne i teologiczne uzyskał w Pekinie, święcenia kapłańskie przyjął w 1956. Od tego czasu działał jako duszpasterz w Tianjin i Pekinie, uzyskał również dyplom uniwersytetu państwowego. Oficjalne życiorysy nie wspominają o jego losach w okresie rewolucji kulturalnej; większość chińskich duchownych, także katolickich zrzeszonych w uznawanym przez władze Patriotycznym Stowarzyszeniu Katolików Chińskich, dotknęły w tym czasie represje (np. internowanie).
W grudniu 1979 został wyświęcony na biskupa i bez zatwierdzenia papieskiego objął diecezję pekińską. W odróżnieniu od wielu innych hierarchów Patriotycznego Stowarzyszenia Katolików Chińskich, mianowanych bez zgody papieża, ale później akceptowanych, Fu Tieshan do końca życia akceptacji Watykanu nie uzyskał. Pozostawał natomiast stronnikiem władz państwowych i KPCh. Dzięki prorządowej postawie pełnił szereg funkcji, m.in. wchodził w skład Komitetu Pekińskiego Ludowej Politycznej Konferencji Konsultatywnej Chin. Należał również do władz organizacji zajmujących się współpracą międzynarodową (faktycznie bez większego wpływu na bieżącą politykę). Czołowe stanowiska zajmował w Patriotycznym Stowarzyszeniu Katolików Chińskich - był wiceprzewodniczącym (od 1979) i przewodniczącym (od 1998) PSKCh oraz przewodniczącym Konferencji Biskupów PSKCh. Przez kilka kadencji zasiadał jako deputowany w chińskim parlamencie - Ogólnochińskim Zgromadzeniu Przedstawicieli Ludowych, a w 2003 został wybrany na jednego z kilkunastu wiceprzewodniczących Stałego Komitetu zgromadzenia.
Współpraca z władzami biskupa Fu Tieshana wyrażała się m.in. w usprawiedliwieniu użycia siły na Placu Tian’anmen czy prześladowań Falun Gong oraz Tybetańczyków. W 2000 występował przeciwko kanonizacji grupy chińskich męczenników przez papieża Jana Pawła II. Przewodniczył święceniom biskupim niezależnym od Watykanu, m.in. 6 stycznia 2000, kiedy przeciwstawne uroczystości odbywały się jednocześnie w Pekinie i Rzymie. Działalność Fu Tieshana była uważana za jedną z głównych przeszkód w rozmowach pojednawczych między Stolicą Apostolską a PSKCh. Z tego względu biskup spotykał się również z niechęcią części wiernych diecezji pekińskiej.
W ostatnich dwóch latach życia ograniczył działalność publiczną ze względu na ciężką chorobę nowotworową. Zmarł w kwietniu 2007. Jego następcą został abp Joseph Li Shan.
