L'edificio, formato da una larga facciata neoclassica e due ali laterali, si trova nella piazzetta rettangolare di fronte al fianco meridionale del Duomo. Di antica origine, ha subito, attraverso i tempi, alterne vicende storiche. Nel XII secolo, sull'area del palazzo, sorgeva il Broletto Vecchio, sede dei Consoli nel periodo comunale. Nel 1310 vi si stabilirono i Visconti e nel 1330 Azzone fece trasformare il palazzo in sontuosa dimora creando la Corte Ducale Viscontea. Nel 1385 i Visconti si trasferirono al Castello quando già era stato dato inizio alla demolizione della parte anteriore del palazzo per far posto alla fabbrica del Duomo. Nei secoli XVI e XVII l'edificio subì profondi rimaneggiamenti e quindi divenne sede dei governatori spagnoli e inoltre ospitò il primo teatro lirico milanese. Nel 1771-1778, quando Milano era sotto il dominio austriaco, l'Arciduca Ferdinando affidò all'architetto Giuseppe Piermarini l'incarico di apportare nuove modifiche facendo rifare la facciata in stile neoclassico e sistemare le sale secondo le esigenze del tempo. Infine, con l'Unità d'Italia, divenne il Palazzo Reale. Il superbo interno del palazzo, quale si era venuto creando nell'Ottocento, fu però completamente devastato dalle bombe del 1943: statue ed affreschi, pavimenti e stucchi, andò tutto perduto. Adibito oggi a sede del Civico Museo di Arte Contemporanea e utilizzato come sede di mostre temporanee, il palazzo, proprietà del Comune di Milano dal 1965, ospita al pianterreno anche il Museo del Duomo.