Le palais fut construit dans un style baroque lombard aux influences néoclassiques, comme résidence de plaisance pour François III d'Este, duc de Modène et de Reggio d'Émilie. Après la mort du duc et en raison des coûts d'entretien élevés, le palais changea de propriétaire jusqu'à son acquisition en 1837 par Carlo Pellegrini Robbioni, qui apporta quelques modifications au jardin, conformément au goût romantique anglais de l'époque. En 1882, le manoir fut acquis par la mairie de Varèse et ouvert au public l'année suivante.

Dans le petit village de Santa Maria del Monte, près de Varèse, la tradition évoque un monastère roman dédié à la Vierge depuis le XIe siècle. En 1472, le site fut entièrement reconstruit, la structure primitive ne permettant plus d'accueillir et d'accueillir les nombreux pèlerins venus des environs. Au XVIIe siècle, une série de 14 chapelles fut construite le long du chemin pavé reliant le sanctuaire, sous la direction artistique de Giuseppe Bernascone. Ces chapelles s'intègrent parfaitement au paysage et sont symboliquement associées aux Mystères du Rosaire.