Nella zona attorno a Piazza dei Signori si trovano le prime case degli Scaligeri che, inizialmente modeste e con la caratteristica struttura di casa-torre, vengono successivamente ampliate e trasformate in palazzi, mentre intorno sorgono altri edifici destinati all'amministrazione della corte, gli attuali palazzi del Tribunale e della Prefettura. 

Cangrande I provvede anche ad estendere le difese della città con un giro di mura e valli che, partendo dall'Adige presso San Giorgio, seguono il profilo della collina e ridiscendono al fiume in prossimità dell'attuale ponte del cimetero.

Soltanto quando i rapporti tra la città e gli Scaligeri peggiorano, essi decidono di spostare la propria residenza al di fuori del centro cittadino, dando inizio alla costruzione del Castello di San Martino Aquaro, chiamato poi Castelvecchio. L'importante struttura, che ora ospita varie raccolte di pittura e scultura ed è sede di diverse mostre temporanee, comprendeva la residenza dei signori, la caserma e il campo di esercitazione per le truppe. Protetto dal fossato e dalla cortina di mura, il castello era collegato all'altra sponda dell'Adige dal ponte merlato, rapida via di fuga in caso di rivolta cittadina. Trasformato in caserma dalla Repubblica di Venezia, il Castello fu restaurato nel 1960 da Carlo Scarpa, che riportò alla luce gli elementi della struttura primitiva. 

A memoria della grandezza degli Scaligeri, infine, restano le famose "Arche", capolavori dell'arte gotica, erette come monumento sepolcrale della famiglia nel centro storico, a fianco della piccola chiesa di Santa Maria Antica, cappella privata dei Della Scala.