Ingen vet hvor langt tilbake byens historie går. Ifølge en teori skal byen ha blitt grunnlagt omkring 900, men allerede før dette tidspunktet fantes det et handelssentrum på stedet.
På 1100-tallet var Visby et viktig sete for Hansaen. Byens befolkning var da halvt tysk, og det rådet sterke motsetninger mellom by og land. Derfor er ringmuren betydelig tykkere mot land- enn mot havsiden.
I 1361 ble Gotland erobret av Valdemar Atterdag. Ved den avgjørende trefningen, øst for muren, mellom dansker og gotlandske bønder, stilte byen seg nøytral.
I 1525 var det konflikt mellom Lübeck og Visby. Lübeckerne skal ifølge tradisjonen ha brent alle byens kirker, unntatt den tyske, som nå er domkirke. Visby ble en svensk by i 1645, etter freden i Brömsebro.
I 1808, under den siste svensk-russiske krigen, ble Visby og resten av Gotland annektert «til evig tid», men det tok ikke mer enn en måned før Gotland igjen var på svenske hender. Den avsatte, russiske guvernøren, Bodisko, ble etter krigen guvernør i Finland.
Ca. 150 middelalderhus i mer eller mindre godt bevart stand.
Botanisk hage, eid av selskapet DBV (De badande vännerna).
Galgberget, nord for Norderport, med en bevart galge fra middelalderen – tre steinpilarer med sytten steiner i hver. Opphav til eden: «Fy sjutton (stenar).»
Festivaler
Hvert år i august er det middelalderuke innenfor ringmuren. Det serveres mat og godbiter med oppskrifter fra middelalderen.
Det lages også smykker og settes opp skuespill fra middelalderen.