L'edificio subì danni irreparabili nel 1706 durante la battaglia di Castiglione allorché le armate francesi, ritirandosi, abbatterono parzialmente la struttura. L'abbattimento venne completato nel 1763 con l'utilizzo del materiale per la costruzione del Duomo.
Oggi del castello è rimasta intatta la torre di accesso e all'interno del cortile la basilica di San Sebastiano, fatta costruire da Ferrante Gonzaga in segno di ringraziamento per essere scampato alla peste.
Bibliografia
Enzo Boriani, Castelli e torri dei Gonzaga nel territorio mantovano, Brescia, 1969.
Mariano Vignoli (a cura di), Dal castello al palazzo. Storia ed architettura in un'area di confine. Atti dei convegni di Acquafredda (25 maggio 1996) e San Martino Gusnago (16 novembre 1996), Guidizzolo, Circolo Culturale San Martino Gusnago - Istituto Italiano dei Castelli - Banca di credito cooperativo di Casalmoro e Bozzolo, 1997. ISBN non esistente.