Córdoba har under större delen av sin långa historia invaderats regelbundet och varje ny härskare har bidragit till stadens arkitektur. Mezquitas ursprungliga prakt och skönhet återspeglar den umayyadiska dynastins glansperiod under 900-talet och början av 1000-talet då staden hade omkring 100 000 invånare och hundratals moskéer.
Uppförandet av den moské som skulle bli stadens främsta varade två sekler och inleddes 784 då Abd ar-Rahman I, emir av Córdoba, beordrade att den gamla västgotiskakatedralen skulle rivas (i sin tur byggd ovanpå ett romerskttempel) och började uppföra arkaderna i den enorma pelarhallen. På tolv månader fullbordades byggnadens huvuddel. På grund av det snabba arbetet var man hänvisad till att hämta pelarna från andra kyrkor, och man brydde sig inte så mycket om huruvida kapitälen även passade till pilastern.[2]
Därefter utökades och förbättrades byggnaden i flera etapper av olika umayyadiska härskare. Abd ar-Rahman II lade till flera bågar 833 med kolumner från en romersk amfiteater och utökade avsevärt byggnaden 840. Abd ar-Rahman III beordrade uppförandet av en ny minaret. Med al-Hakam II utökades planen ytterligare 961 och dessutom tillkom den rikt dekorerade bönenischen (mihrab). Al-Mansur lade till de östra delarna 987 vilket nästan fördubblade moskéns storlek.
En hög med mur prydd med tinnar omgav hela byggnaden, som hade formen av en rektangel som sträckte sig från norr till söder. Tjugo portar prydda med metallbeslag ledde genom denna mur in i det inre. På norra sidan låg Abd ar-Rahman III:s minaret, prydd med två granatäpplen av guld och ett av silver. Där bredvid var huvudingången till gården. Mitt emot på södra sidan låg bönehallens långskepp, öppna åt gården.[2]
De dubbla valvbågarna i pelarhallen, som ger det mjuka ljuset, bärs upp av mer än tusen kolonner i jaspis, onyx, marmor och granit vars kapitäl tagits det tidigare romerska templet och andra romerska och bysantinska ruiner i staden.
Tre dörrar förde in i maqsuran, som innehöll 119 pelare. Däri låg vid södra väggen mihraben, tre intill varandra gränsande nischer med tandade hästskobågar, som var smyckade med koranspråk, arabesker och blomsterslingor i brokiga och gyllene sten- och glasmosaiker. Den mellersta nischen kröntes av en stor, vit marmorkupol med en väldig ljuskrona. Den förnämsta mihraben var en åttakantig nisch som ovantill löpte ut i en jättestor marmormussla.[2] Till höger om mihraben låg den med rika träsniderier försedda predikstolen. Det bredare mittskeppet var särskilt praktfullt dekorerat. Inte heller bilder saknades fullständigt – trots islams bildförbud. På två röda pelare såg man historien om de sju sovare från Efesus samt Noaks korp avbildade.[2]
Moskén fick sina nuvarande dimensioner (178x125 meter, 23 000 m²) 987 då den inre gården med sina apelsinträd arrangerade likt kolumnerna inuti byggnaden tillkom. Detta gör Mezquita till världens tredje största moské och den största i Europa.
Ett särskiljande drag för Mezquita som moské är placeringen av mihrab. När al-Mansur ville bygga ut moskén 987 låg hans eget palats i vägen i öst och floden Guadalquivir utgjorde ett hinder i söder. Han blev därför tvungen att bygga ut åt väster vilket fick till följd att Mezquita är den enda moskén som inte har sin mihrab i byggnadens mitt. Dessutom är en mihrab normalt vänd mot Mecka men i Mezquita är den vänd mot Damaskus, vilket har förklarats med att al-Mansur längtade tillbaka till moskéerna i sin gamla hemstad.
Mezquita kom att bli stilbildande för den moriska arkitekturen som med sina romerska, bysantinska, syriska och persiska influenser på flera sätt påminner om den tidiga, gotiska arkitekturen i Venedig.
Alfons X lät uppföra Villavicisiosakapellet och det kungliga kapellet med sin stuck i mudejarstil inuti den gamla moskén och ersatte de östra delarna av pelarhallen.
Själva katedralen, tillägnad Vincent av Sargossa, och mittskeppet som reser sig över pelarhallen tillkom på 1500-talet under Karl V:s regeringstid, gjorde att de centrala delarna av pelarhallen demolerades.
Därefter har ytterligare ändringar och tillägg ständigt gjorts fram till slutet på 1700-talet varför byggnaden i sin nuvarande skepnad består av ett sammelsurium av gotisk, renässans- och barockarkitektur. Alla kristna tillägg gör byggnaden till ett oerhört rikt dekorerat historiskt dokument och katedralen är i sig en fantastisk byggnad. Minareten finns till exempel fortfarande kvar men har byggts in i klocktornet.
