Con la vittoria del Partito Popolare di José María Aznar alle elezioni generali del 1996, il primo ministro Aznar lo nominò coordinatore generale. Assunse poi l'incarico di ministro della Pubblica Amministrazione (gennaio 1999-marzo 2000), quindi quello di ministro di Giustizia (marzo 2000-luglio 2002) e ministro degli Interni (luglio 2002-2004).
Durante questo suo ministero si intensificò la lotta dello Stato contro il gruppo terrorista ETA ed egli si rese famoso per la sua convinta opposizione generalizzata ai movimenti di rivendicazione delle autonomie regionali. Tuttavia il suo mandato come ministro degli Interni viene ricordato particolarmente per la sua ripetuta, poi errata, attribuzione dell'attentato dell'11 marzo 2004 al gruppo terrorista ETA.
Nei giorni immediatamente successivi all'attentato dell'11 marzo Acebes, come portavoce del governo, continuò ad insistere sulla responsabilità del gruppo ETA, nonostante le indagini della polizia andassero delineando in modo sempre più esaustivo la probabile matrice islamista dell'attentato. Nonostante le prove apportate, gli arresti effettuati ed il processo in corso, l'esponente del Partito Popolare si annovera tra le persone che rivendicano il dubbio sull'effettiva responsabilità dell'attentato, sostenendo che le indagini successive sono frutto della manipolazione del Partito Socialista, volta ad influenzare il voto dei cittadini spagnoli chiamati alle urne pochi giorni dopo la strage di Madrid (la cosiddetta "teoría de la conspiración").