L'urbanistica di Caldarola si distingue da quella di quasi tutti i paesi vicini per lo più posti sui colli ed in diversi tempi. L'attuale struttura, sorta alla fine del '500 per volontà del card. Evangelista Pallotta (della precedente struttura resta solo qualche traccia), sfrutta una piccola pianura alla destra del fiume Chienti  per collocarsi a scacchiera così unitaria da rilevare un riordino che ha lasciato il segno di un'epoca di avanzato progresso e di raffinato gusto.

La piazza, il porticato che la cinge da due lati, la collegiata di San Martino, i palazzi nei due fianchi, le quattro vie della piazza salgono ortogonalmente alla facciata del palazzo comunale verso il castello, appaiono concepiti con progetto unitario quando a Roma, a Loreto, a Montalto Marche si sperimentavano principi urbanistici tanto cari agli architetti di Sisto V. Caldarola fu privilegiata non tanto, o per lo meno non solo perché sulla via dei pellegrinaggi per Loreto e Roma, ma per opera generosa del card. Evangelista Pallotta, stretto collaboratore del Pontefice, Prefetto della Fabbrica di S. Pietro dal 1589 al 1620.