Poco se sabe de sus primeros años antes de convertirse en monje en el Monte Athos. Se convirtió en el obispo metropolitano de Éfeso en 1393, antes de ser elegido patriarca de Constantinopla el 21 de mayo de 1416. Junto con el emperador bizantino Juan VIII Paleólogo, 23 obispos metropolitanos e incontables eruditos y teólogos, participó en el Concilio de Basilea. Mientras estaba en Florencia, fue alojado en el Palazzo Ferrantini. Él es retratado en los frescos de Benozzo Gozzoli en la Cappella dei Magi del Palazzo Medici Riccardi, que celebra la entrada de los dignatarios bizantinos en la ciudad.[4][5]
José era muy viejo y estaba enfermo, falleciendo dos meses después el 10 de junio de 1439. Su muerte causó mucho dolor a todos los presentes en el Concilio, ya que fue un ferviente partidario de la unión entre las Iglesias católica y ortodoxa. Su tumba en la iglesia del convento dominico de Santa María Novella en Florencia sobrevive, con un elaborado retrato al fresco en un estilo semi-bizantino. Fue sucedido como el Patriarca de Constantinopla por Metrófanes II, que fue nombrado por el emperador Juan VIII a causa de sus similares sentimientos pro-unionistas.[4]