Passato di mano in mano e di famiglia in famiglia a partire dalla sua prima struttura nel XVII secolo (i Cavalchini, i Casati, gli eponimi Dugnani), giunge in eredità, quasi alla metà dell'Ottocento, al Conte Giovanni Vimercati, che vi instaura l'embrione di una collezione denominandolo "Museo di Storia Naturale". Un decennio dopo, nel 1846, il palazzo fu ceduto al comune di Milano, che lo rese sede del Civico Museo di Storia Naturale, il quale fu successivamente trasferito dall'altra parte del parco, in un edificio appositamente costruito.