Йозеф Фанта окончил Чешский технический университет (в то время Императорский политехнический институт) в Праге. В 1889-90 годах совершил учебную поездку в Италию. После учёбы Фанта стал ассистентом своего профессора Йозефа Зитека (автора, среди прочих работ, Национального театра и Рудольфинума). Для Национального театра Фанта создал, в том числе, лампу в стиле неоренессанс, которая до сих пор стоит перед театром. С 1881 года он работал ассистентом профессора Йозефа Шульце в Чешском техническом университете, а c 1909 года стал профессором средневековой архитектуры. С 1918 года он был членом Чешской академии наук и искусств. В 1926 году удостоился титула почётного доктора технических наук.
Йозеф Фанта дружил со знаменитым чешским художником Альфонсом Мухой. Сотрудничал со строителем и меценатом Йозефом Главкой.
Как педагог Фанта воспитал несколько поколений чешских архитекторов.
Его женой была Юлия Фантова-Куса[чеш.], видная деятельница движения за эмансипацию женщин и староста брненской женской ассоциации «Весна». У них было трое детей: дочери Мария и Эва, и сын Йозеф, погибший на итальянском фронте во время I мировой войны. Дочь Мария стала известной журналисткой и переводчицей, писала под псевдонимом Ma-Fa[чеш.], её связывали многолетние романтические отношения с чешским политиком Яном Масариком.