Casole d'Elsa már az etruszkok alatt is lakott település volt. 1200 körül a Volterrai Püspökség fennhatósága alá tartozott. Casole d'Elsa városáért hosszú időn át volt versengés Volterra és Firenze között, végül Siena uralma alá került. Ebben az időszakban erősítette meg Siena Casole d'Elsa városfalát.
A város kőfallal körülvett részének alaprajza körte formájú, területe 130 méter széles és 420 méter hosszú. A kőből épült városfal egyes szakaszai Casole d'Elsa körül mindmáig fennmaradtak. A kőfalon belül széles főutca kötötte össze a mára már nem látható két városkaput: a déli Rivellino Kaput, amely a második világháború során semmisült meg, ugyanis bombatalálat érte, és az északi Frati Kaput.
Nevezetességek
Városfal
Prétorok Háza (Palazzo Pretorio)
Casolani-Berlinghieri-Scheggi Palota
Santa Maria Assunta Collegiata
Szent Miklós templom
Szent Péter templom.
Erőd - A város egyik legrégebbi épülete, amelyben ma az Önkormányzat működik.