En el cerro se estableció, a lo largo de la época colonial, un conjunto de ermitas que se convirtieron más tarde en capillas.

Posiblemente una de las razones de su importancia residió en que en sus alrededores se encontraban numerosas canteras.

En 1659 se edificó la ermita dedicada a la Virgen de Loreto y de ahí tomó también el nombre el Cerro; se añadió posteriormente la denominación de Guadalupe, porque en esta zona existió una capilla con esa advocación, destruida en 1862.

A fines del siglo XVII la ermita de Loreto tuvo algunos cambios y los muros exteriores circundaron a la capilla interior, compartiendo con ella la techumbre y una sola puerta.

La fachada del templo exterior consta de dos cuerpos y presenta relieves de argamasa al estilo poblano de la época.

La portada de la Casa de Loreto propiamente dicha es más rica, presenta un arco carpanel en cuya rosca se prolongan los relieves de las jambas, el monograma de Jesús luce a modo de escudo y al fondo se conserva el camarín.

Este sitio adquirió importancia logística en la defensa de la ciudad, dada su ubicación. Durante la batalla del 5 de mayo de 1862, el fuerte de Loreto estuvo ocupado por tropas del general Berriozábal, en tanto que en Guadalupe se situó el general Zaragoza. De hecho, en reconocimiento a dicho general el nombre de Puebla cambia de Puebla de los Ángeles por el de Puebla de Zaragoza.

En cuanto al Fuerte de Loreto, desde 1936 se emprendieron obras de restauración para instalar en el fuerte el Museo de Historia Guerrera, que fue una iniciativa de algunos ciudadanos de Puebla preocupados por preservar el patrimonio de su ciudad. A partir de 1962 pasa a manos del INAH y cambia el nombre por Museo de la No Intervención.

La exhibición actual del museo es la que se logró recolectar para el primer museo enriquecida con algunas otras piezas y todas están relacionadas con las guerras de México en el siglo XIX.

Este conjunto tiene una extensión de aproximadamente 1500 metros cuadrados y lo conforman una hermosa capilla a la Virgen, la casa del capellán, un cuartel militar y 4 baluartes de tipo circular. Adicionalmente, el fuerte esta rodeado de un foso que lo circunda en su totalidad.

La colección de este museo se divide en siete salas, comenzando por la dedicada a la capilla de la virgen de Loreto. En las demás salas se exhiben diversos objetos como: armas, banderas, documentos, pinturas al óleo y al acrílico, artículos personales y vestimenta militar.

Además, el fuerte muestra varios cañones de los siglos XVIII al XX en la explanada.