La Torre è una costruzione che la tradizione vuole eretta su una preesistente rocca delle antiche mura cittadine o addirittura sulle rovine di un campanile; ma nessun documento può avvalorare tali ipotesi. Tutta la Torre è alta 36 metri, ha un basamento a bugne riquadre; il primo ordine architettonico è toscano con trabeazione mista a dorico, in pietra grigia; l'ordine superiore è corinzio. La Torre subì gravi danni in seguito ai terremoti del 1688 e del 1732. Soltanto nel 1783 fu provveduto al suo restauro, completando l'opera con la collocazione di un nuovo macchinario per l'orologio. La Torre, fornita di orologio a campane e della "diana", che veniva suonata a martello in caso di pericolo, dominava così l'elegante piazzetta della Dogana ed essendo visibile da ogni parte finì col diventare il simbolo stesso della città.