Esztergomi on esmamainitud 1079. aastal. Oletatavasti on see tulnud kahe jõe, Iszteri (Doonau) ja Garami nimest. Kuid Nibelungide laulus nimetatakse Etzeli (Attila) linna Graniks.
Väljakaevamiste andmeil on linnas paiknev lossimägi Várhegy olnud asustatud juba jääajal 20 000 aastat tagasi. Enne ungarlaste tulekut elasid tänapäeva linna kohal keldid, kes saabusid umbes 350 eKr. Lossimäe keskkoha ümber oli nende asula seni, kuni Vana-Rooma selle piirkonna vallutas. Seejärel sai see koht Pannoonia provintsi tähtsaks piiripunktiks. Suure rahvasterändamise ajast, mis Rooma riigi hävitas, on lossimäelt leitud germaanlaste ja avaaride jälgi. Alates 6. sajandist elasid piirkonnas slaavi hõimud.
960. aastatel sai linnast suurvürst Géza residents ja sellest ajast kuni 13. sajandi keskpaigani oli Esztergom Ungari pealinn. Lossimäele ehitatud kindluses sündis ja 1000. aastal krooniti seal kuningaks István Püha. Kuningaloss oli Lossimäe põhjanõlval, kõrgeimal kohal seisis püha Adalberti kirik. Püha Adalbert oli pärimuse järgi István Püha ristinud. Linnavalitsuse moodustasid kaupmehed, kes ei olnud sageli ungarlased, vaid näiteks prantslased, hispaanlased, belglased ja itaallased. Esztergom jäi diplomaatiliste läbirääkimiste linnaks, kus kuningas võttis vastu välisriikide monarhe, näiteks Saksa-Rooma keisreidKonrad II ja Friedrich Barbarossat.
Esztergomi hiilgus lõppes 1241. aastal, mil mongolid linna vallutasid ja hävitasid. Béla IV viis Ungari pealinna algul Visegrádi ja hiljem Budasse. Estergom jäi sellegipoolest Ungari kõrgeima katoliikliku vaimuliku, peapiiskopi või priimase asupaigaks ja on seda tänini. Esialgu maeti Ungari kuningaid Esztergomi, kuid see komme lõppes 1304. aastal, mil Tšehhi kuningasWenceslaus II lossi vallutas ja annekteeris.
1543. aastal ründas linna Türgi sultanSuleiman Tore. Linna kaitsti kaks aastat, kuni välismaised (hispaania, itaalia ja saksa) palgasõdurid deserteerusid ja linna türklastele andsid. Türklased keskendusid linna kaitserajatiste taastamisele ja tugevdamisele, jättes tsiviilrajatised unarusse. 1595. aastal vallutasid krahv Karl Mansfeld ja krahv Mátyás Cseszneky linna tagasi, kuid vahepeal oli enamik hooneid lagunenud ja elukõlbmatud. Aastatel 1605–1683 kuulus linn jällegi Türgile.
