Abdul Rashid valgte i stedet å kle seg vestlig og å gjennomføre en masterutdanning i internasjonale relasjoner ved det sekulære Quaid-e-Azam-universitetet i Islamabad. Deretter ble han ansatt i utdanningsdepartementet.
Faren var så misfornøyd med Abdul Rashids livsstil at han gjorde broren Abdul Aziz til enearving. Men mordet på Muhammad Abdullah kom dog til å bli et vendepunkt i Abdul Rashids liv. Oppmuntret av sin eldre bror begynte han å studere islam, anla skjegg og engasjerte seg i Den røde moske og de tilhørende koranskolene Jamia Hafsa og Jamia Faridia.
Ghazi var en av lederne for en koalisjon av organisasjoner som i 2001 protesterte mot USAs krig i Afghanistan.
I 2004 tok Abdul Rashid Ghazi og mange andre religiøse ledere avstand fra militærets kamp mot pro-talibanske stammer på den pakistanske landsbygden. Den røde moské sendte på hans initiativ ut en fatwa hvor det ble sagt at de islamister som ble drept under denne konflikten av de pakistanske militære, skulle betraktes som martyrer.
Dette provoserte president Musharraf som hevdet at Abdul Rashid hadde planlagt å få ham myrdet. Abdul Rashid ble tvunget til å gå under jorden til regeringsanklageren senere drog tilbake anklagene mot ham.
Sammen med broren Abdul Aziz Ghazi ledet han i 2007 konflikten mot regjeringen ut fra den Røde moske i Islamabad. Etter at broren ble tatt til fange under en mislykket flukt, ledet Abdul Rashid opprøret alene til han ble drept av de stormende pakistanske militærstyrkene i moskeens kjeller den 10. juli 2007.
