Иоанн Лид и Захария Митиленский сообщают, что Иоанн был родом из КесарииКаппадокийской. Прокопий Кесарийский, Иоанн Малала, Пасхальная хроника (Chronicon Paschale) и Захария Митиленский именовали его Иоанном Каппадокийским в целях устранения противоречий, так как в то время имя Иоанн (греч.Ioannes и лат.Johannes) применялось очень широко. Лид и Малала временами упоминают его просто как «Каппадокиец». О его родственных связях сведения крайне скупы и только двое его родственников установлены достоверно. Это его дочь Евфимия (Euphemia) и некий родственник по имени Иоанн Максиллоплюмаций (Ioannes Maxilloplumacius).[1]
Современные ему историки были настроены предвзято в отношении его, в частности Прокопий и Лид, и их оценка зачастую окрашена их предубеждениями. Прокопий утверждает, что Иоанн был плохо образован, хотя неохотно и соглашается, что именно выдающиеся природные способности Каппадокийца привели к его возвышению до такого положения. Впервые Иоанн появляется в первоисточниках в качестве скриниария (scriniarius) (нотариус) на службе у некоего magister militum (военного магистра). Его идеи организации управления, как сообщается, привлекли внимание Юстиниана, что привело к его повышению до должностей, подразумевающих ответственность за финансы. Находясь на этих постах, он смог наиболее широко зарекомендовать себя, чтобы получить титул Vir illustris и, в конечном счёте, занять пост префекта. Есть предположение, что его близкие взаимоотношения с Юстинианом могли завязаться в период службы Юстиниана в должности Magister militum praesentalis в 520-х годах, которая обычно предшествовала избранию на трон.[1]
Иоанн был поставлен во главе первой комиссии по созданию нового свода законов Юстиниана, Corpus iuris civilis, а также стал главным советником Юстиниана в области права. Он также был назначен на должность префекта Востока, давшую ему полномочия вводить новые налоги с населения. Новые налоги были очень непопулярны, и толпа возмутилась, что привело к восстанию Ника 532 года, требуя отставки Иоанна и квестораТрибониана. Юстиниан удовлетворил их требованиям, пока восстание не было подавлено, после чего он восстановил Иоанна в должности префекта и Трибониана в должности квестора. После восстания, поддерживавшегося высшим классом сенаторов, Иоанн, который был такого же низкого происхождения, как и Юстиниан, стал даже более влиятелен в политических делах. Иоанн оказывал влияние на военные решения Юстиниана, способствуя подписанию Вечного мира с Хосровом I, царём Персии, и убеждая Юстиниана не опустошать казну большим походом в Северную Африку. Иоанн работал совместно с императором над сокращением аппарата чиновников и бюрократии в Константинополе и в провинциях, внедряя зачатки меритократии.
В результате происков императрицы Феодоры, в 541 году удалён из Константинополя и назначен епископом в Кизике, а позже переселён в Верхний Египет в город Антинополь. После смерти Феодоры (548) Иоанн вернулся в Константинополь. Умер в нищете и бедности. Во время ссылки он вынужден был просить милостыню, что, как предполагают, послужило основой к созданию легенды о нищенстве Велисария.
John R. Martindale, A. H. M. Jones, John Morris. The Prosopography of the Later Roman Empire. — Cambridge University Press, 1992. — Vol. III, AD 527—641. — ISBN 978-0-521-20160-8.