Det er uklart når Kargopol ble grunnlagt, men den er først nevnt i kildene i 1146. Den var en handelsstasjon for republikken Novgorod og en av de nordligste permanente slaviske bosetningene. Selv om dokumentasjonen av byens tidligste historie er sparsom, så antas det at Kargopol var det viktigste handelssenteret i Bjarmeland gjennom hele 1200- og 1300-tallet. I 1447 var byen stedet hvor Dmitrij Sjemjaka fant ly for Vasilij II av Moskvas vrede.
Byen ligger på den gamle ruten mellom Moskva og Arkhangelsk (på den tid den eneste russiske havnebyen), og Kargopol ble en av Russlands rikeste byer, spesielt etter at det engelske Muscovy Company startet sin virksomhet midt på 1500-tallet. I de urolige tider i Russland motstod byen en beleiring av polske og litauiske brigader. Opprøreren Ivan Bolotnikov ble henrettet i Kargopol i 1608.
Etter at Russland vant tilbake tilgangen til Østersjøen og St. Petersburg ble grunnlagt, mistet Kargopol sin betydning. Folk fra Kargopol var dog fremdeles aktive i utforskningen av det asiatiske Russland. Alexandr Baranov, den første guvernøren i Russisk Amerika (Alaska), ble født i Kargopol.
I dag er Kargopol en søvnig historisk by ved Kenoozero nasjonalpark. Den er best kjent i Russland for Kargopol-leketøy (Kargopolskije igrusjki), som er små, enkle leirfigurer malt i tradisjonell stil.
I byens gullalder på 1600-tallet, ble Kargopol hjemsted for en sterkt lokalisert type russisk middelalderarkitektur. Mange kirker av tre og hvit stein har overlevd i byen og dens nærhet. Den tidligste av disse bygningene er en svartkuplet katedral bygget av dolomitt av folk fra Novgorod og innviet i 1562. Et særmerke ved Kargopols kirker er fine utskjæringer i stein.