Llegó a ser el edificio más alto de la ciudad. 

Es la casa construida por Francisco Guerrero y Torres para los condes de San Mateo de Valparaíso entre los años de 1779 y 1784. 

Cuenta con una peculiar fachada de tezontle y es una de las construcciones más bellas del centro histórico de la ciudad. 

Recibe su nombre actual debido a que de 1821 a 1823 la habitó Agustín de Iturbide. 

En 1965 lo adquirió el Banco Nacional de México y realizó una cuidadosa restauración. 

El edificio es considerado una joya de la arquitectura barroca y resguarda cerca de 4,300 obras de arte, entre ellas pinturas de Diego Rivera, José Clemente Orozco, Doctor Atl, Joaquín Clausell y Frida Kahlo, entre otros.

En su patio principal se montan exposiciones temporales.