El edificio fue construido en el siglo XVIII y su arquitectura muestra una influencia andaluza y morisca. 

A principios del presente siglo la casa fue comprada por la investigadora Zelia Nutall, quien la bautizó con el nombre del famoso soldado español Pedro de Alvarado debido a que una leyenda cuenta que en ella habitó este importante personaje histórico. 

El inmueble ha tenido varias funciones y en 2005 fue restaurada para devolverle sus características y colores originales, incluso la vegetación característica de Coyoacán. En la actualidad la está ocupada por la Fonoteca Nacional.