Die Villa wurde nach 1700 vom Marquis Paolo Antonio Menafoglio erbaut, der sie als Freizeitresidenz mit einem Garten im italienischen Stil konzipierte. Nach dem finanziellen Niedergang der Familie wurde die Villa 1823 an Pompeo Litta Visconti Arese veräußert, einen Mailänder Aristokraten, der den bekannten Architekten Luigi Canonica mit der Erweiterung der Villa beauftragte, einschließlich einiger Änderungen am Garten, die dem neuen englischen romantischen Geschmack entsprachen. Seit 1956 beherbergt die Villa eine bedeutende Sammlung zeitgenössischer Kunst, die vom neuen Eigentümer, Graf Giuseppe Panza di Biurno, zusammengetragen wurde. Der Geschmack des Grafen verbindet amerikanische Pop-Art mit raffinierten Möbeln des 16. bis 19. Jahrhunderts und afrikanischen und präkolumbianischen Stücken.

Der Palast wurde im lombardischen „Barocchetto“-Stil mit neoklassizistischen Einflüssen als Freizeitresidenz für Francesco III. D'Este, Herzog von Modena und Reggio Emilia, erbaut. Nach dem Tod des Herzogs und aufgrund der hohen Instandhaltungskosten wechselte der Palast verschiedene Besitzer, bis er 1837 von Carlo Pellegrini Robbioni gekauft wurde, der einige Änderungen am Garten vornahm, die dem englischen romantischen Geschmack der Zeit entsprachen. 1882 wurde das Herrenhaus von der Stadt Varese erworben und im folgenden Jahr der Öffentlichkeit zugänglich gemacht.