Miestelyje kasmet liepos mėnesį vyksta Didieji Žemaičių Kalvarijos atlaidai, pasižymintis žmonių gausa ir archajiškomis žemaičių tradicijomis. Žemaičių Kalvarijos bažnyčia nuo seno garsėja stebuklinga Nukryžiuotojo Jėzaus figūra ir stebuklingu Dievo Motinos su Kūdikiu paveikslu, atvežtu iš Romos (XVII a. vidurys).
1253 m. minima Garde vietovė (t. y. Gardė arba Gardai̇̃). Tikėtina, kad jis kilęs nuo upelio vardo Gardė (dabartinis Cedronas); šį vandenvardį galima būtų sieti su bendriniu žodžiu gardas – įtvirtinta gyvenvietė; vėliau taip vadinta tvarte ar lauke užtverta vieta gyvuliams laikyti; banda, kaimenė. Netoli miestelio iki 1925 m. minimas Gardės dvaras, o 1959 m. – kaimas.
XVII a. viduryje pastačius kryžiaus kelių koplyčias (kalvarijas), greta Gardų vardo ėmė rastis pavadinimas Naujoji Jeruzalė, o vėliau – Gardų Kalvarija arba Kalvarija. Kalvarija vadinamos katalikų šventosios vietos, kryžiaus keliais su kulto pastatais, koplyčiomis (pagal Kalvarijos kalnąJeruzalėje). Dar iki XX a. pradžios miestelis vadinosi tiesiog Kalvarija (pvz., 1917–1918 m. vokiečių išleistame Lietuvos gyvenamųjų vietų vardų sąraše), bet XX a. įsivyravo pavadinimas Žemaičių Kalvarija, siekiant ją skirti nuo Kalvarijos miesto pietvakarių Lietuvoje.[4]
1964 m. lapkričio 25 d., daugiausia antireliginiais sumetimais miestelis pervadintas Várduva (pagal pratekančią Varduvos upę), tačiau Sąjūdžio metu 1989 m. birželio 21 d. sugrąžintas istorinis pavadinimas.
Vyskupas Jurgis Tiškevičius į Gardus pakvietė dominikonus. 1636 m. įkūrus savarankišką Gardų parapiją, pastatyta bažnyčia, 1637 m. atiduota dominikonams, kurie 1637–1639 m. pastatydino 19 koplytėlių, simbolizuojančių Kalvarijų kryžiaus kelią (kalvarijas). 1642 m. dominikonai čia įkūrė vienuolyną (veikė iki 1889 m.). 1644 m. įsteigta pirmoji mokykla. 1650 m. į bažnyčią atvežtas ir netrukus stebuklingu paskelbtas Marijos paveikslas. 1660 m. per atlaidus, trukusius savaitę, į miestelį atėjo maro epidemija.
1780–1822 m. pastatyta dabartinė bažnyčia. Miestelis smarkiai nukentėjo per 1831 m. ir 1863 m. sukilimus. Iki 1940 m. veikė vienuolių marijonų ordinas. XIX a. Kalvarija buvo Telšių apskrities miestelis.[5]
Pokario metais apylinkėse veikė Žemaičių apygardos, Šatrijos partizanų rinktinės Lietuvos partizanai.[reikalingas šaltinis]
2003 m. patvirtintas Žemaičių Kalvarijos herbas. 2006 m. spalio 8 dieną bazilikos pagrindiniame altoriuje esantis Dievo motinos su kūdikiu paveikslas buvo papuoštas popiežiausBenedikto XVI pašventintomis karūnomis, o paveiksle esanti Dievo motina tituluota Krikščioniškų šeimų karaliene. Tai patvirtino, kad paveikslas pripažįstamas kaip turįs stebuklingų galių. Lietuvoje yra dar 9 tokie Dievo motinos paveikslai.
Devyniolika koplyčių, kuriose įrengta dvidešimt stočių, sudaro Žemaičių Kalvarijos Kančios kelią, kuris driekiasi 7000 žmogaus žingsnių. Daugiausia liaudiškos architektūros koplyčios, kurių vidus dekoruotas monumentaliąja sienine ornamentine tapyba, išsidėsčiusios kalvotoje miestelio vietovėje. Šios vidinio tipo koplytėlės būdingos daugeliui XVII–XVIII a. Lenkijos kalvarijų. Trylika iš jų medinės, didžiausia medinė septynioliktoji koplyčia „Jėzus kenčia ir miršta ant kryžiaus“.[17]
Buvusio Žemaičių Kalvarijos vienuolyno vietoje, prie Motiejaus Valančiaus gimnazijos, direktoriaus Stepono Meškausko iniciatyva 1995 m. pastatyta Atminties koplyčia iškilioms Žemaičių Kalvarijos asmenybėms pagerbti.
Žemaičių Kalvarijoje yra 21 Kryžiaus kelio kalno koplyčių (Kristaus kančios kelio stočių), iš toli matoma Bazilika su stebuklingu Dievo Motinos Marijos paveikslu. Tikima, kad Šventojo Kryžiaus ant kurio buvo nukryžiuotas Jėzus Kristus, medžio skiedrelę Žemaičių Kalvarijos šventovei dar XVII a. antroje pusėje padovanojo vyskupas Jurgis Tiškevičius.
Nuo 1742 m. Garduose pradėti rengti visuotiniai atlaidai, į kuriuos atvykdavo tūkstančiai tikinčiųjų iš Žemaitijos ir visos Lietuvos. Gautas popiežiaus leidimas atlaidams. Dabar kasmet Žemaičių Kalvarijoje beveik dvi savaites (paprastai liepos 1 – liepos 10 d.) vyksta Didieji Žemaičių Kalvarijos atlaidai, sutraukiantys tūkstančius piligrimų iš Lietuvos ir užsienio valstybių. Atlaidai vyksta liepos mėnesį.