Γεννήθηκε στη Μπάτνα και εντάχθηκε στον Εθνικό Απελευθερωτικό Στρατό το 1957, σε ηλικία 16 ετών, για να πολεμήσει ενάντια στη γαλλική κυριαρχία της Αλγερίας. Μετά την ανεξαρτησία, σπούδασε στο Κάιρο, έπειτα στη Μόσχα (1965-1966) και τελικά στο Παρίσι. Το 1975, ανέλαβε τη διοίκηση μιας στρατιωτικής σχολής στη Μπάτνα και στη συνέχεια το 1981 της Στρατιωτικής Ακαδημίας του Τσερσέλ. Στη συνέχεια έγινε διοικητής της στρατιωτικής περιοχής του Ταμανρασσέτ το 1982, αργότερα της 3ης Στρατιωτικής Περιοχής στα σύνορα με το Μαρόκο το 1984, και έπειτα της Κωνσταντίνης το 1987. Έγινε στρατηγός το 1988, και αργότερα αρχηγός των χερσαίων δυνάμεων το 1989.[5]
Αφού διαφώνησε με τον Πρόεδρο Τσαντλί Μπεντζεντίντ σχετικά με προτάσεις για αναδιοργάνωση του στρατού, αποχώρησε από τον Εθνικό Στρατό της Αλγερίας το 1989 και έγινε για σύντομο διάστημα πρέσβης στη Ρουμανία. Ωστόσο, μετά την αναγκαστική παραίτηση του Μπεντζεντίντ τον Ιανουάριο του 1992, οι προοπτικές σταδιοδρομίας του έγιναν πιο ελπιδοφόρες. Τον Ιούλιο του 1993, έγινε Υπουργός Άμυνας και τον Ιανουάριο του 1994 προήχθη σε αρχηγό του Ανώτατου Κρατικού Συμβουλίου. Τον Νοέμβριο του 1995, εξελέγη Πρόεδρος, μια θέση που διατήρησε μέχρι τις επόμενες εκλογές. Ήταν γνωστός ως υποστηρικτής του πολιτικού διαλόγου, υποστηρίζοντας μια λύση με μερική διαπραγμάτευση για τον Αλγερινό εμφύλιο πόλεμο.[6] Στις 25 Δεκεμβρίου 1994, ο Ζερουάλ επέτρεψε απρόθυμα την πτήση 8969 της Air France που είχε υποστεί αεροπειρατεία να εγκαταλείψει το έδαφος της Αλγερίας μετά από τη δολοφονία 3 πολιτών, συμπεριλαμβανομένου ενός υπαλλήλου της γαλλικής πρεσβείας, από τους τέσσερις αεροπειρατές.[7]
Αν και ορισμένοι προέτρεψαν τον Ζερουάλ να θέσει υποψηφιότητα στις προεδρικές εκλογές του 2009, ανέφερε σε δήλωση του, στις 14 Ιανουαρίου 2009, ότι δεν θα θέσει υποψηφιότητα, ενώ επίσης δήλωσε ότι δεν ήταν προς το συμφέρον της δημοκρατίας ο πρόεδρος Αμπντελαζίζ Μπουτεφλίκα να θέσει υποψηφιότητα για τρίτη φορά. Αρνήθηκε την υποψηφιότητα επίσης στις προεδρικές εκλογές του 2014, καθώς και την πρόταση να αναλάβει την προεδρία της χώρας, για μεταβατικό διάστημα, μετά την απομάκρυνση του Μπουτεφλίκα από την εξουσία το 2019.[8]