Rómában született, apját Marcellusnak, anyját Honestának nevezték. Már fiatalon elhatározta, hogy a papi hivatást választja. I. Szergiusz pápa szubdiakónussá szentelte fel, pénztárossá és könyvtárossá nevezte ki. Jelleme és eszessége miatt Konstantin pápa magával vitte Konstantinápolyba, amikor II. Jusztinianosz császár az egyházfőt udvarába kérette, hogy tisztázzák a Quinisext zsinat körüli vitákat. Gergely nem okozott csalódást, és gyakran szólalt fel a vitákon, mindannyiszor meggyőzve a császárt Constantinus igazáról.
715. május 19-én a római zsinat őt választotta meg az egyház fejének. Egyik első intézkedéseként megjavíttatta Róma falait, mivel a városban a szaracénok támadásától tartottak. A munkálatokat azonban a Tiberis áradása miatt nem sikerült teljesen befejezni.
Pontifikátusának első évében levelet kapott János konstantinápolyi pátriárkától, amelyben a keleti főpap ismét bocsánatot kért a Szentszéktől, mert Philippikosz császár uralma alatt nem szállt szembe a monotheletista tanokkal. Gergely több angolszász zarándokot fogadott a Lateránban, így AngliábólCeolfrid apátot, aki a híres Codex Amiatinust hozta ajándékul az egyházfőnek, illetve Ine wessexi királyt, aki megalapította Rómában a Schola Anglorumot. I. Theodor bajor herceg azért járult a szentatya színe elé, hogy hittérítőket kérjen pogány népe számára. Gergely 719-ben Szent Bonifácot és Szent Corbibianust bízta meg a germán területek megtérítésével. A pápa nagy jelentőséget tulajdonított munkájuknak, és figyelemmel kísérte tevékenységüket, 722-ben pedig missziós püspökökké szentelte őket.
Gergely felvette a kapcsolatot a frankok palotamesterével, Martell Károllyal is, aki seregei élén többször is megtámadta a portyázó arab csapatokat, de a fősereg ellen nem vonult. A pápa többször is támogatta, biztatta Károlyt a végső ütközetre, de arra végül Gergely életében nem került sor. Jó kapcsolatokat tartott fenn a lombard udvarral, Liutprand longobárd király törvényalkotásában együttműködött a pápával. Viszont az uralkodóval fennálló jó kapcsolat nem volt elegendő Itália békéjéhez. Pár lombard herceg a gyengülő bizánci hatalmat kihasználva egyre nagyobb területeket foglalt el a félszigeten. Gergely megpróbálta a frankokat behívni ellenük, de Martell Károly erői le voltak foglalva az iszlám támadók miatt, a ravennai exarcha pedig képtelen volt felvenni a versenyt a germán csapatokkal.
Közben Bizáncban 717-ben egy újabb katonatiszt vette át a hatalmat. Az új császár, III. Leó hatalmas adókkal sújtotta a rómaiakat és a pápát. Ezen kívül a tízparancsolatra hivatkozva elrendelte az ikonrombolást, és ugyanezt követelte Rómától is. Gergely elítélte a császári rendeletet, mert jogtalanul avatkozott be az egyházi ügyekre; a magas adókra is nemet mondott, de nem szűnt meg a bizánci császár hűséges alattvalója lenni. A császár és a pápa ellentéte során Liutprand elfoglalta Ravennát és kiterjesztette területét az Adria partjai mentén. A pápa szövetségre lépett Velencével és Bizánccal Liutprand ellenében, de 729-ben Bizánc Liutprand oldalára állt. A lombard királyt végül az tartotta vissza a Róma elleni támadástól, hogy Gergely megjelent táborában, és gyújtó hangú beszédével térdre kényszerítette.