Casole D'Elsa anticamente era un centro abitato cinto da mura, aveva una forma quasi a pera, che si estendeva da sud a nord per 420 metri, ed una larghezza massima di circa 130 metri. Tutto attorno correva la cinta muraria, in gran parte visibile ancora oggi su tutto il circuito e che conserva sul versante orientale due torri circolari progettate dal grande architetto senese Francesco di Giorgio. Al centro corre da sud a nord la via principale che metteva in comunicazione le due porte porta Rivellino e porta ai Frati. Le due porte oggi non esistono più, infatti furono minate in tempo di guerra. La rocca, oggi sede del Comune, è il più importante edificio civile di Casole, la Collegiata di San Maria è il più importante edificio religioso. Della chiesa primitiva consacrata nel 1161, come è attestato da una lapide attualmente conservata in una cappella del transetto destro, resta il basamento delle tre absidi al di sotto del livello del pavimento attuale; quelle laterali sono ricavate nello spessore del muro le basi e i capitelli dei pilastri a fascio, che la dividevano in tre navate, sembra che siano stati smontati quando la chiesa fu ricostruita. All'esterno resta tutta la facciata originaria che reca tutto intorno un motivo decorativo a rilievo schiacciato. Al suo interno, si possono ammirare tra le altre cose importanti opere di Rutilio Manetti, Marco Romano e Gano da Siena. Dipinti ragguardevoli sono anche sistemati nel museo di arte sacra allestito nella vicina Canonica. Nei dintorni, da visitare i borghi di Mensano (già poderoso castello distrutto dai fiorentini nel 1534), con la bella pieve di San Giovanni (XI secolo) e di Pievescola, con la notevole chiesa romanica a tre navate.