Aos 16 anos uniu-se às fileiras do Exército de Libertação Nacional (ALN) para combater às forças francesas. Participou na guerra de libertação entre 1957 e 1962. Depois da independência da Argélia, Zéroual buscou instrução militar no Cairo (Egito), depois em Moscou e finalmente em Paris. Diplomado na escola militar de Moscou e na escola de guerra de Paris, exerceu diferentes funções no seio do Exército Nacional Popular de seu país.
Num princípio foi comandante da Escola de aplicação de armas de Batna (1975), depois diretor da Academia Militar de Cherchell (1981), posteriormente comandante de diversas regiões militares: em 1982 em Tamanrasset no Saara, depois na fronteira com Marrocos em 1984, e finalmente em Constantina em 1987. Atingiu o grau de general em 1988 e foi promovido a comandante das forças terrestres em 1989, antes de renunciar em 1990 por discordar do presidente Chadli Bendjedid e particularmente do general Khaled Nezzar a propósito do plano de reorganização do Exército argelino. Foi a seguir embaixador na Romênia durante curto período antes de deixar o posto e voltar a a residir em Batna, retirando-se da vida pública.
Em julho de 1993 foi nomeado ministro de Defesa Nacional, pelo governo do Alto Comitê de Estado criado depois da interrupção do processo eleitoral de janeiro de 1992, substituindo a Nezzar. Era partidário de um diálogo com todos os partidos políticos do país, para encontrar uma "solução consensual à crise", e foi com esse entendimento que se reuniu diversas vezes com os principais dirigentes da Frente Islâmica de Salvação (FIS) que se encontravam encarcerados.
No comando militar, dividido entre "reconciliadores" favoráveis ao diálogo, e entre "erradicadores" partidários da repressão sem trégua contra os grupos islâmicos, a pessoa de Zéroual apareceu como uma solução de compromisso, e foi nesta qualidade que a 30 de junho de 1994 foi designado à chefia de Estado pelo Alto Comitê de Estado para assegurar o período de transição.
Em 15 de janeiro de 1995 teve que enfrentar novas pressões diplomáticas internacionais exercidas particularmente pelo acordo de Roma, chamado de acordo de San Egidio, assinado pelos líderes políticos da oposição em que se denunciava a militarização do Estado. Assim, com objetivo de restaurar a legitimidade perdida das instituições estatais, organizou uma eleição presidencial em 16 de novembro de 1995, sendo o primeiro presidente de seu país a ser eleito como resultado de uma eleição pluralista (eleição presidencial boicotada pelos grandes partidos de oposição), com 61,3 % dos votos.
Suas múltiplas tentativas de encontrar um acordo com os partidos de oposição terminaram em fracasso. Tendo constatado o fracasso da aproximação com os representantes moderados da dissolvida FIS, eles próprios ultrapassados pela emergência de importantes grupos terroristas como o Grupo Islâmico Armado -GIA, considerou que nada mais podia se esperar de um eventual diálogo com os grupos islâmicos, pelo que rompeu o diálogo com eles e levou a cabo uma política de "erradicação dos grupos terroristas".
Denunciou posteriormente o acordo de Roma, protestando contra o "complô de personalidades argelinas" que buscavam, segundo ele, "manter a Argélia na espiral de violência e da degradação" prometendo por outra parte a "erradicação" dos grupos "terroristas".
A reforma constitucional de novembro de 1996 aumentou consideravelmente os poderes do presidente, e tendeu a fechar o campo político à oposição. Sob seu comando, aliados seus fundaram em 21 de fevereiro de 1997 a União Nacional Democrática, na véspera das legislativas de 5 de junho daquele ano. O partido obteve ampla vitória, que reforçou o poder de Zéroual.
Mas as tensões a cada vez mais presentes na cúpula do Estado levaram-no a afastar-se. No dia 11 de setembro de 1998 anunciou em seu discurso à nação a celebração de eleições presidenciais antecipadas em fevereiro de 1999, (originariamente previstas para 2000) às quais não se candidatou. Seu sucessor foi um antigo membro da FLN, Abdelaziz Bouteflika. Zéroual deixou a presidência em 27 de abril de 1999.[2]