Leon je svojo izvolitev sporočil Karlu Velikemu, poslal mu je ključe grobnice sv. Petra in zastavo Rima ter prosil za odposlanca. Karel mu je odgovoril, da je njegova funkcija zaščita Cerkve in papeževa, da moli za kraljestvo in zmago njegove vojske.
Leon je prihajal iz ljudskih vrst in to je takoj povzročilo sovražnosti rimskega plemstva, ki je menilo, da je papeški prestol namenjen samo plemičem. Aprila 799 so ga napadli in mu poskušali iztakniti oči ter odrezati jezik. Potem so ga formalno odstavili in poslali v samostan. Vendar pa je Leon pobegnil in prišel h Karlu Velikemu, ki ni priznal njegove odstavitve. Opozicija v Rimu je poslala Karlu poslanike, da bi predstavila svoje stališče. Alkuin, Karlov svetovalec, pa je opozoril, da nobena zemeljska oblast nima moči, da bi sodila papeža, tako je bil Leon pospremljen nazaj v Rim.
Karel je novembra 800 odšel v Rim, kjer se je 1. decembra udeležil sestanka s predstavniki obeh strani. Leonovi nasprotniki so bili izgnani. 25. decembra je Leon kronal Karla za svetega rimskega cesarja po tem, ko je ta molil ob grobu sv. Petra.
Razlogi za kronanje Karla, sodelovanje s frankovskim dvorom in povezava z Bizancem so področja, o katerih zgodovinarji še danes razpravljajo. Kot upravnik papeških ozemelj je Leon prispeval k polepšanju Rima.