Вилла была построена после 1700 года маркизом Паоло Антонио Менафольо, который задумал ее как резиденцию для отдыха, окруженную садом в итальянском стиле. После финансового упадка семьи, в 1823 году, вилла была передана Помпео Литта Висконти Арезе, миланскому аристократу, который назначил известного архитектора Луиджи Канонику для расширения виллы, включая некоторые изменения сада, в соответствии с новым английским романтическим вкусом. С 1956 года вилла стала местом расположения важной коллекции современного искусства, собранной новым владельцем, графом Джузеппе Панца ди Бьюрно. Вкус графа смешивает американский поп-арт с изысканной мебелью XVI-XIX веков, а также африканскими и доколумбовыми произведениями.

Дворец был построен в стиле ломбардского «бароккетто» с неоклассическими влияниями как резиденция для отдыха Франческо III д'Эсте, герцога Модены и Реджо-Эмилии. После смерти герцога и из-за высоких расходов на содержание дворец сменил нескольких владельцев, пока в 1837 году его не купил Карло Пеллегрини Роббиони, который внес некоторые изменения в сад в соответствии с английским романтическим вкусом того времени. В 1882 году особняк был приобретен мэрией Варезе и открыт для публики в следующем году.