Sin embargo, por diversas razones, en 1673 se dio la orden de demoler el edificio, se dice que por el peso de la imagen de San Diego de Alcalá no se pudo mover y por lo tanto solo la cerraron, hasta que después de 13 años se autorizó volver a ponerla en uso.

Su fachada es de tres cuerpos realizada en cantera gris. En el primero es donde se abre el vano de la entrada con un arco de medio punto y adornos que consisten en flores de pétalos finamente tallados.

Cuenta con una sola nave y en su interior se encuentra la Capilla de la Soledad, con un bello retablo churrigueresco y considerada como un pequeño museo por la calidad de sus pinturas. Dentro de estas magníficas obras hay trabajos de Juan Bautista Cortes y Pascual Pérez, ambos artistas del siglo XVII.