Nella prima decade di gennaio del 1117, un terremoto scosse violentemente gran parte dell’Italia settentrionale e solo nel 1285, per volontà degli Scaligeri, iniziarono i lavori di ricostruzione e di ampliamento della zona fortificata di Valeggio. Oltre alla Rocca ed al Castello, fu edificato un avamposto sulle rive del fiume Mincio, che inglobò alcune case e la piccola chiesa romanica di S.Maria della Maison.

Nel 1345, Mastino II della Scala iniziò i lavori di un’imponente “bastia”, costituita da fossati e mura merlate, intervallate da torricelle, che scendeva dal Castello, circondava l’abitato di Valeggio, raggiungeva il Castello di Villafranca, per terminare nelle campagne paludose che circondavano Nogarole Rocca. Complessivamente il cosiddetto “Serraglio Scaligero” era lungo circa sedici chilometri. Il lavoro fu interrotto nel 1348, allo scoppio di una delle più gravi pestilenze che si ricordino: la famosa Peste nera che sconvolse tutta l’Europa.
Negli anni successivi la costruzione di questo sistema difensivo venne ultimata, ma nel 1387 le roccaforti valeggiane vennero conquistate dalle armate viscontee.

Nel 1393, Gian Galeazzo Visconti, signore del Ducato di Milano, fece raccordare un “Ponte – diga” che aveva un doppio scopo: essere sia luogo di transito, sia difesa dalle acque. Il lavoro, da lui fortemente voluto ed unito con la Rocca di Valeggio tramite due alte cortine merlate, concretizzò un complesso fortificato unico in Europa.
Durante la dominazione veneziana, iniziò il lento e progressivo decadimento delle complesse strutture difensive tardo medievali e, verso la metà del XVI sec., la Serenissima Repubblica di Venezia, privilegiando la scelta strategica di fortificare Peschiera, cedette ai privati sia il Castello che il Ponte Visconteo.