En el siglo I a. C. Estrabón refiere en su Geografía que los tirios fundaron Gadeira, alzando un santuario a Melkart, a quien los griegos identificaban con Heracles o Hércules, en la parte oriental de la isla y la ciudad en la parte occidental. Se decía que el templo había sido fundado en tiempos de la guerra de Troya a comienzos del siglo XII a. C.
El santuario probablemente sería un conjunto de edificaciones donde habría un edificio principal y un patio al que se accedía por una puerta flanqueada por dos grandes columnas. Según narra Silio Itálico en el siglo I a. C., en el frontispicio aparecían los doce trabajos de Hércules labrados en bronce. No existía ninguna imagen del dios en el interior del recinto. Asimismo hace referencia al hecho de que los sacrificios humanos estaban prohibidos y a que en su altar ardía un fuego perpetuo, cuidado por la incesante vigilancia de sus sacerdotes. Según Estrabón, en las columnas de la entrada los navegantes hacían sus sacrificios. Abundaban en el santuario los altares de bronce con escenas de la vida de Hércules donde ardía el fuego. Además eran famosos los dos pozos de agua dulce que tenían un régimen de crecidas inverso al de las mareas.
Según el historiador latino Pomponio Mela, bajo el templo estaban enterrados los restos de Hércules, de ahí su gran fama[cita requerida]. Además, contenía reliquias tan famosas como el cinturón de Teucro, héroe griego hijo de Telamón, y el árbol de Pigmalión, cuyos frutos se decía que eran esmeraldas. Las fuentes historiográficas clásicas relatan que muchos personajes célebres, ilustres por sus hazañas o su nobleza, visitaron este templo. Tito Livio narra que Aníbal arribó a la isla para ofrecer al dios sus votos antes de emprender la conquista de Italia. En este santuario, Julio César tuvo un sueño que le predecía el dominio del mundo después de haber llorado ante el busto de Alejandro Magno, por haber cumplido su edad sin haber alcanzado un éxito importante.[cita requerida]
Durante la época romana persistió el esplendor del templo, que alcanzó máximo esplendor en tiempos de Trajano. Comenzó su decadencia en el siglo IV hasta perder su pasada grandeza por completo durante el dominio visigodo. El santuario sufrió ataques y destrucciones, la acción del mar, su explotación como cantera de piedra ostionera y las sucesivas ocupaciones que sobre él se han ido desarrollando, por lo que ha desaparecido. Su existencia se constata por los textos griegos y latinos, citados desde el siglo XVI por historiadores y eruditos, y por los importantes restos arqueológicos hallados desde principios del siglo XX, como la estatua de un emperador romano divinizado de gran tamaño en 1905, una estatuilla de bronce de la Fama dirigiendo una cuadriga y una gran estatua toracata de bronce, hallada en Rompetimones en 1925. Todos ellos se encuentran en el Museo de Cádiz.
Dentro del sistema defensivo costero, la isla se fortificó hacia 1610, mejorándose las instalaciones de la fortaleza durante el siglo XVIII. El 28 de octubre de 1918 se instaló un aparato eléctrico sobre la torre del homenaje del arruinado castillo. La señal que emite no sólo baliza la isla, sino que sirve de recalada al canal.
