L'impressionnante forteresse, dominant le village de Soave, connut son apogée au XIIIe siècle, sous l'autorité de la famille Verones Della Scala. En 1379, sous ce même gouvernement, la ville entière fut entourée de remparts, encore visibles. Après le déclin de la famille Della Scala, le manoir passa aux Visconti de Milan, puis peu après aux Carraresi de Padoue, et enfin à la République de Venise. Au XVIe siècle, le château reçut de la République l'« Antenne », un haut mât soutenant le drapeau du lion de Saint-Marc. Par la suite, le château connut une période de délabrement, jusqu'à la restauration massive de 1890.