Di origini cinquecentesche, fu riedificata nel 1770, sotto la dominazione austriaca, utilizzando i materiali dovuti all'abbattimento della cinta muraria e del castello.

La Villa appartenne alla famiglia Gonzaga di Mantova e Carlo Gonzaga l'assegnò in dote alla figlia nel 1479 quando sposò il conte Odorico d'Arco.

Gli austriaci, al comando del maresciallo Dagobert Sigmund von Wurmser, vi insediarono il loro quartier generale durante la battaglia di Castiglione del 5 agosto 1796 contro Napoleone Bonaparte.

Dagli inizi e sino a metà dell'Ottocento l'edificio passò in proprietà ad alcune famiglie nobili mantovane. Dopo la vittoria nella battaglia di Solferino e San Martino il 24 giugno 1859 nella villa si ritrovarono vincitori Napoleone III e il re Vittorio Emanuele II. La Villa fu venduta alla famiglia di Mirra Pastore (da cui il nome) nel 1883.

Un importante avvenimento si è svolto nella villa il 24 giugno 1959, primo centenario della battaglia di Solferino e San Martino, quando ospitò il Presidente della Repubblica Francese Generale Charles De Gaulle e il Presidente della Repubblica Italiana Giovanni Gronchi per la colazione ufficiale nel salone al piano nobile.

L'edificio circondato da parco è divenuto proprietà del Comune di Cavriana nel 1976, ed oggi è location di manifestazioni culturali, convegni e mostre. In un'ala della costruzione è inoltre ospitato il “Museo archeologico dell'alto mantovano”.