Se construyó entre 1684 y 1685 por el arquitecto Diego de la Sierra quien se distinguió por sus construcciones barrocas.

A partir de 1813 se dio más importancia a las artes y los intelectuales de Puebla promovieron la creación de la escuela de Bellas Artes que se conformó en 1824 y se instaló en este edificio.

A lo largo de su historia importantes artistas han sido parte de la escuela como Lorenzo Zendejas, Agustín Arrieta, José Manzo, José Zacarías Cora, Daniel Dávila y el arquitecto y grabador José Manzo, entre otros.

La Academia funcionó hasta 1973 y su acervo fue adquirido por la Universidad Autónoma de Puebla y resguardado por la Biblioteca Histórica José María Lafragua.

La casa es uno de los ejemplos del barroco poblano con una fachada de dos cuerpos que se compone de cantera gris, tapetillo de ladrillo y mosaico.