Muchos autores la vinculan al despoblado del medievo, la Torre Invidia, abandonada desde 1182. Tal vez por ese motivo, tradicionalmente se le llamaba la Virgen de la Torre.
P. Faci describió la ermita en su inventario de Vírgenes Marianas como romanista, dorada de 1544 y policromada. En su imaginería destacan santos como San Roque y San Miguel y santas como Santa Ana y Santa Rufina. En el siglo XVII se reconstruye, terminándose en 1694 y transformada profundamente en la segunda mitad del siglo XVIII.