El templo actual data de 1780 y está edificado sobre una construcción más antigua que se remonta al periodo de dominación visigoda de la península ibérica, la cual fue consagrada en el año 678 por el obispo Teodoracio y se construyó en el mismo lugar que ocupaba anteriormente una antigua villa romana, cuyos materiales se reciclaron para la construcción del templo cristiano.
Tras el periodo de dominación musulmana y la reconquista, la iglesia debió de reconstruirse y desde mediados del siglo XIV está dedicada a la advocación de Nuestra Señora de la Oliva, patrona de Vejer de la Frontera. Prueba de la antigüedad del recinto es un pedestal romano que aún se conserva, el cual contiene una inscripción funeraria de origen precristiano y otra inscripción conmemorativa de la consagración de la Basílica Visigótica en el año 678. En el interior de la ermita puede contemplarse un retablo barroco fechado en 1773 y la imagen de la Virgen de la Oliva, obra del escultor Martín Alonso de Mesa realizada en 1596.[1]
[2][3]