La villa fut construite après 1700 par le marquis Paolo Antonio Menafoglio, qui la conçut comme une résidence de plaisance, entourée d'un jardin à l'italienne. Après le déclin financier de la famille, en 1823, la villa fut cédée à Pompeo Litta Visconti Arese, un aristocrate milanais qui chargea le célèbre architecte Luigi Canonica de l'agrandir, notamment en modifiant le jardin, conformément au nouveau goût romantique anglais. Depuis 1956, la villa abrite une importante collection d'art contemporain, constituée par le nouveau propriétaire, le comte Giuseppe Panza di Biurno. Le goût du comte allie le pop art américain à un mobilier raffiné des XVIe-XIXe siècles et à des pièces africaines et précolombiennes.

Le palais fut construit dans un style baroque lombard aux influences néoclassiques, comme résidence de plaisance pour François III d'Este, duc de Modène et de Reggio d'Émilie. Après la mort du duc et en raison des coûts d'entretien élevés, le palais changea de propriétaire jusqu'à son acquisition en 1837 par Carlo Pellegrini Robbioni, qui apporta quelques modifications au jardin, conformément au goût romantique anglais de l'époque. En 1882, le manoir fut acquis par la mairie de Varèse et ouvert au public l'année suivante.