La araba deveno de la loko rilatas al la etimologio de la nomo Al-Borg; oni scias per tiamaj kronikoj ke tie loĝis komunumo de moriskoj kiu rezistis akre kontraŭ la kristana okupado. Dum la insurekcio de la Axarquía, El Borge estis kerno de la ribelo kaj multaj lokanoj fuĝis al Alpujarras ĝis la malvenko en la milito.
Gravulo de la islama epoko estis Ibn Albaitar ("la filo de la bestokuracisto"), fama botanikisto, kiu enkondukis la kultivon de citrusoj en la valo de Benamargosa, Almáchar kaj Borge, kie oni scias ke li loĝis antaŭ elmigri al Egipto, laŭ Gámez Burgos. Ankoraŭ ekzistas en la municipa teritorio de El Borge kampardomo nomita "Morabaite" aŭ "Moro-Baita", kie oni supozas, ke loĝis tiu fama gravulo.
Profesoro de beletro kaj teologio kaj saĝulo de la 17a jarcento estis Martín Vázquez Ciruela. El la 19a jarcento estis El Bizco de El Borge, realnome Luis Muñoz García, fama bandito pri kiu estas legendoj el kiuj multaj prezentas lin kiel bonfara krimulo.