Esta casa cuenta con una larga historia que se remonta a 1657.

En aquel año era parte de un convento de los carmelitas que posteriormente paso a ser de los dominicos.

En el siglo XVIII fue reconstruida por el arquitecto José Eduardo de Herrera para ser usada como casa de campo del Marqués de San Miguel de Aguayo.

En 1857 el escritor y político Manuel Payno ocupó la casa ocultándose de sus enemigos políticos al haber sido parte del golpe de estado contra el gobierno de Ignacio Comonfort.

Otros de sus afamados ocupantes fue el académico Isidro Fabela, que vivió aquí en 1933.

En 1958 al ser legada por la familia Fabela al gobierno de México, fue convertida en el actual Centro Cultural y Biblioteca Isidro Fabela.

Esta biblioteca incluye más de 18,000 volúmenes donadas también por Isidro Fabela y el archivo personal de Venustiano Carranza.

La casa cuenta con dos niveles que dan a un patio central y a un patio posterior. Es justo en el patio central en donde se localiza la monumental Fuente del Risco, elaborada en estilo barroco a base de restos de vajillas rotas de porcelana provenientes de Japón y China, losetas, jarrones y conchas de abulón. Está adosada al muro a modo de altar y fue construida en la segunda mitad del siglo XVIII con una pequeña escultura de la Virgen de Loreto en la parte central superior.

En este lugar se puede visitar el estudio de Isidro Fabela (1882-1964), intelectual y político que donó la residencia donde está ubicado el museo, además de su biblioteca, archivo histórico y colección artística.

La colección permanente del museo está repartida en las siete salas de la primera planta. El Salón Barroco, expone objetos de arte barroco mexicano (siglos XVII a XVIII), la sala de arte religioso europeo, narra una breve visión de la pintura religiosa europea que se desarrolló entre los siglos XIV a XVI.

Hay otra sala dedicada al retrato de monarcas europeos, otra a la del retrato europeo de burgueses y nobles y la sala de pinturas de paisajes y escenas costumbristas.