Carlos Marchena karierę rozpoczął w Sevilli. Mimo młodego wieku, stał się podstawowym obrońcą ówczesnego zespołu Segunda División. W sezonie 1999/2000 przeniósł się do Lizbony, by grać w tamtejszej Benfice. Równie szybko stał się tam jednym z podstawowych graczy i już rok później został sprowadzony do Valencii.
W tym czasie stoperami Valencii byli Roberto Ayala oraz Mauricio Pellegrino. Marchena rywalizował z nimi o miejsce w składzie i rozegrał 16 spotkań. Przyczynił się także do zdobycia przez Valencię mistrzostwa Hiszpanii, które ostatni raz klub ten zdobył w 1971 roku. W następnym sezonie Marchena grał częściej. Zadebiutował także w rozgrywkach Ligi Mistrzów.
W sezonie 2003/2004 rozegrał 31 meczów w lidze i 8 w europejskich pucharach, a Valencia zdobyła dublet składający się z mistrzostwa Hiszpanii i Pucharu UEFA. W sezonach 2005/2006 i 2006/2007 grywał często, jednak nie regularnie – przegrywał rywalizację o miejsce w pierwszej jedenastce z Roberto Ayalą oraz Raulem Albiolem. Sytuacja uległa zmianie w kolejnym sezonie, kiedy zespół z Estadio Mestalla opuścił Ayala. Marchena zastąpił go i szybko stał się podstawowym obrońcą klubu Quique Floresa, później Ronalda Koemana i Unaia Emery’ego. 1 sierpnia2010 roku przeszedł do drużyny Villarreal CF[2]. W 2012 roku po spadku Villarrealu do Segunda División przeszedł do Deportivo La Coruña.