Trákiában született, egy ott szolgáló tiszt gyermekeként. Szicílián nevelkedett, itt került közeli kapcsolatba az egyházzal. Rómában szentelték fel pappá, és egyszerűségével, tiszteletreméltó megjelenésével és tudásával népszerű lett a klérus körében. Amikor V. János pápa meghalt, a pápaválasztó zsinat két pártra szakadt. Az egyikben a klérus tagjai foglaltak helyet, akik Péter archipresbitert szerették volna a pápai trónuson látni, míg a másik oldalon a hadsereg jelöltje Theodorórosz pap (a későbbi ellenpápa) volt. A vita csak másfél hónapig tartott, ugyanis Konon személyében olyan egyházfőt találtak, aki mindenkinek megfelelt. Miután megválasztották Konont, levélben kérték ki a ravennai exarcha véleményét. Az exarcha megerősítésének megérkeztével Rómába, 686. október 21-én a keresztény nyáj legfőbb pásztorává szentelték fel.
Még uralkodásának kezdetén érkeztek meg Rómába a császári követek, amelyek értesítették a pápát IV. Kónsztantinosz haláláról, és gyermeke II. Jusztinianosz trónra lépéséről. A birodalom új ura Kononnak megírta, hogy elfogadja a hatodik egyetemes zsinat döntéseit, és mindenben követi majd apja gyakorlatát. Biztosítékként a császár újabb adókat engedett el az egyházat sújtó terhek közül. Konon fogadta Szent Kilián ír szerzetest és kíséretét. A pápa felszentelte Kiliánt püspökké, és meghagyta neki, hogy menjen kíséretével Frankföldre, és ott hirdesse az igét, térítse a barbár népet.
Röviddel trónra lépése után súlyosan megbetegedett. Hosszú betegség után végül 687. szeptember 22-én meghalt. Testét a Szent Péter-bazilikában helyezték örök nyugalomra.