470년 로마에서 프로엑투스의 아들로 태어났으며, 첼리오 언덕에 있는 산 클레멘테 성당의 주임 사제로 서품되었다. 그리고 533년 1월 2일 교황으로 선출되었다. 본명이 메르쿠리우스(Mercurius)였던 그는 교황으로 선출되자 자신의 이름을 버리고 요한이라는 이름으로 개명하여 요한 2세가 되었다. 그 이유는 메르쿠리우스라는 이름이 고대 로마 신화에 나오는 신(메르쿠리우스)의 이름에서 유래한 것으로서, 교황의 이름으로 사용하기에는 지나치게 이교적이었기 때문이다. 요한 2세는 교황으로 선출되면서 본명이 아닌 교황으로서의 새 이름을 사용한 최초의 교황이 되었다.
이 당시에는 교황 선출이나 주교들의 서임 과정에서 성직자들과 평신도들 사이에 이따금씩 성직매매가 성행하였던 시기였다. 교황 보니파시오 2세가 선종한 후 2개월 동안의 사도좌 공석 기간에도 뻔뻔스럽게도 성직매매가 거리낌 없이 자행되었으며, 미사 때 사용하는 제구들이 패물들과 같이 매매 대상이 되기도 하였다.[1] 이 문제는 원로원에 상정되었으며, 원로원은 이 문제를 동고트 왕이 거주하는 라벤나로 보냈다. 교황 보니파시오 2세 역시 생전에 이 문제를 심각하게 인식하고, 교황 선출 과정에서 발생하는 성직매매를 금지하는 법령을 내렸다. 교황과 원로원의 법령은 동고트의 왕 아탈라릭으로부터 확인받았다. 533년 아탈라릭은 이 법령을 성 베드로 대성전 안마당 대리석에 새길 것을 지시하였다. 또한 이는 로마 원로원에서 규정한 마지막 법령(세나투스 콜술툼)이 되었다. 아탈라릭은 추가적으로 로마 사제단과 신자들이 성직매매에 연루될 경우, 라벤나의 고트족 법정에 출두하여 재판을 받도록 처리하고, 만약 유죄가 입증되면 벌금으로 3천 솔리두스를 내도록 하는 법령을 제정하였다. 그리고 벌금은 가난한 사람들을 위한 용도로 사용할 것을 지시하였다.
요한 2세는 아리우스주의를 신봉하는 아탈라릭과 우호 관계를 유지하는 한편, 동로마 제국의 황제 유스티니아누스 1세로부터 정통 신앙 고백을 받아내었는데 성공하였다. 당시 동로마 제국에서는 단성설이 점차 교세가 확장되고 있던 시기였기 때문에 동로마 황제의 신앙 고백은 그 의미가 더욱 깊다.
프로방스에 있는 리에즈의 콘투멜리오수스 주교가 간통 행위로 악명을 떨친다는 소식을 들은 요한 2세는 갈리아 지역의 주교들에게 그를 체포해 수도원에 구금할 것을 지시하였다. 그리고 그를 대신하여 새로운 주교로 아를의 주교를 임명하였다.
535년 아리우스주의에 빠졌던 주교들이 회개할 경우, 성직을 유지하는 것을 허락해야 할지 아니면 평신도로 환속시켜야 할지에 대한 문제로 주교 217명이 카르타고에 모여 교회회의를 한 결과, 교황 요한 2세에게 판단을 요청하였다. 북아프리카에서는 재신임 문제로 노바시아노주의와 도나투스주의가 출현하게 되면서 혼란스러운 상태가 이어졌다. 요한 2세가 535년 5월 8일 선종하면서 이 질문에 대한 대답은 후임자인 교황 아가피토 1세가 대신하게 되었다. 요한 2세의 시신은 성 베드로 대성전에 안장되었다.
