A Matosinhosban született José Gomes már nagyon fiatalon, a húszas éveiben elkezdett edzősködni, először a Clube Futebol de Valadares ifjúsági csapatánál. 1995-től 2003-ig a FC Paços de Ferreira és a Covilhã csapatainál volt másodedző. 1998 és 2003 között Gomes vezetőedzőként dolgozott a Leiria és a Moreirense csapatánál. Előbbi csapatot a portugál élvonalban is irányította a 2005-06-os szezonban, de dolgozott a másodosztályú Avesnél és Leixõesnél is.
2013. január 21-én honfitársa, Paulo Sousa utódja lett a Videoton FC élén.[3][4] Jelentős eredményt nem sikerült elérnie a székesfehérvári csapattal, a Ligakupa döntőjét a Diósgyőri VTK ellen veszítette el csapatával 2–1 arányban. A szezon végén közös megegyezéssel felbontották a szerződését.[5]
Gomes ezt követően két szezont a szaúdi al-Taavon csapatánál töltött, majd 2016 májusában az Al-Ahli vezetőedzője lett.[6][7]
2018 nyarán a portugál élvonalban szereplő Rio Ave élére nevezték ki.[8] Decemberben az angol Reading menedzsere lett.[9] 2019 októberében menesztették, miután a 2019-2020-as bajnokság első 11 fordulójában a Reading csak nyolc pontot szerzett és kieső helyen állt a bajnoki tabellán.[10] November 14-én a Marítimo vezetőedzője lett.[11] 2020. július 28-án a spanyol másodosztályban szereplő Almería irányítását vette át.[12]
