Nacque poco dopo la prima guerra anglo-afghana da Afzal Khan, figlio primogenito di Dost Mohammed, che tuttavia non lo scelse per la sua successione sul trono afgano, preferendogli il terzogenito Sher Alì[1]. La scelta del vecchio emiro fu rispettata nei primi mesi dopo la sua morte (1863), ma presto, e per ben cinque anni, divampò una sanguinosa guerra civile tra il nuovo emiro e Afzal Khan, nel corso della quale Abdur Rahman si distinse per abilità e coraggio, sconfiggendo Sher Alì nella battaglia di Sheikhabad (10 maggio 1866), liberando il padre dalla prigione di Ghazni in cui era stato relegato dallo zio e insediando Afzal Khan come emiro dell'Afghanistan[1].
Alla fine del 1867 Afzal Khan morì a Kabul e gli successe il fratello Azim Khan, che assegnò ad Abdur Rahman il governatorato della provincia del nord. Alla fine dell'anno successivo, però, una rivolta riportò sul trono Sher Alì, costringendo all'esilio sia l'emiro sia Abdur Rahman il quale riparò a Samarcanda mettendosi sotto la protezione dei russi[1]. In esilio Abdur Rahman rimase per ben undici anni e cioè fino alla seconda guerra anglo-afghana. L'inizio di quest'ultima, con l'invasione del paese da parte di truppe britanniche, portò all'abdicazione di Sher Alì, all'ascesa al trono del figlio Yaqub Khan sotto il controllo inglese, al successivo proditorio massacro della missione britannica di Kabul capeggiata da Pierre-Louis Cavagnari, alla reazione militare del generale Frederick Roberts e alla caduta del nuovo emiro[1].
A questo punto i russi spinsero Abdur Rahman a scendere in Afghanistan dove godeva del favore popolare. I contatti con gli inglesi, ed in particolare col diplomatico britannico Lepel Griffin, ne favorirono l'insediamento che fu preceduto dal ritiro delle truppe occupanti e dall'accettazione del trattato di Gandamak da parte di Abdur Rahman con la significativa variante della nazionalità del residente, non più britannico ma indiano di religione sunnita[2]. Così, il 22 luglio 1880, con il pieno favore dell'impero britannico, Abdur Rahman diventava emiro dell'Afghanistan in seguito al suo riconoscimento da parte di un dur-o-bar tenutosi a nord di Kabul cui seguì il suo trionfale ingresso nella capitale afgana[3]. Qui provvide a costruire una nuova cittadella in luogo della Bala Hisar, semidistrutta nel corso della guerra appena conclusa.
L'anno successivo gli inglesi lasciarono anche Kandahar di cui avrebbero dovuto prendere possesso truppe afgane fedeli all'emiro. Queste ultime furono però sconfitte da uno dei figli di Sher Alì, Ayub Khan, che vi si insediò per un breve periodo. Poco dopo Abdur Rahman colse una decisiva vittoria presso il capoluogo pashtun da cui scacciò definitivamente Ayub, che fu estromesso anche da Herat e costretto a riparare in Persia. In tal modo Abdur Rahman si consolidò come emiro di tutto l'Afghanistan, di cui presto centralizzò l'amministrazione e rese sicure le vie di comunicazione, dando vita, in definitiva, a quello stato cuscinetto tra India e Russia da tempo vagheggiato dai britannici[4].
Negli anni che seguirono represse ogni forma di ribellione alla sua autorità con mano pesante, che si abbatté via via sul cugino Ishak Khan, sulla potente tribù dei Gilzi, sugli Hazara, popolo di origine mongola tradizionalmente fiero della propria indipendenza, ridotto all'obbedienza nel 1892[1], e sui Nuristani, popolo dai tratti europei (così come i Kafiri o Kalash, loro vicini pakistani non musulmani), di cui fu forzata la conversione all'islam nel 1895[5]. Inoltre, Abdur Rahman favorì la graduale "pashtunizzazione" del nord dell'Afghanistan, fino ad allora etnicamente vario e comunque non pashtun, e quindi incline alle tendenze secessioniste favorite dalla propaganda zarista[2].
Nel 1887 scoppiò una grave crisi con la Russia a causa del possesso dell'oasi di Pandieh, conquistata da un esercito russo al comando del generale Komarov che vi fece massacrare l'intera guarnigione afgana: la moderazione e la prudenza con cui l'emiro affrontò la tragica vicenda scongiurò un sanguinoso conflitto armato tra i due paesi e portò alla sua composizione per via diplomatica, con la definizione di una linea di confine che sarebbe rimasta inviolata per un secolo, fino alla richiesta di aiuto diplomatico militare delle forze popolari della Repubblica democratica dell'Afghanistan da parte dell'Unione Sovietica (1979)[6].
Nel 1893 l'emiro si risolse a sistemare anche i confini tra l'Afghanistan e l'India britannica, definendoli attraverso i colloqui col diplomatico inglese Mortimer Durand, figlio di un ufficiale divenuto famoso per aver contribuito all'espugnazione di Ghazni durante la prima guerra anglo-afghana: fu così stabilita la cosiddetta linea Durand che in tempi successivi finì di creare seri problemi politici, comportando la separazione di aree tribali omogenee (la cosiddetta terra dei Pashtun o Pashtunistan), e che segna tuttora, sostanzialmente, il confine tra Afghanistan e Pakistan. Ciò comunque contribuì a rinsaldare i buoni rapporti tra l'emiro e la corona britannica da cui fu insignito di un'importante onorificenza (Star of India) e di un invito a recarsi a Londra presso la regina Vittoria, che l'emiro dovette però declinare a causa delle cattive condizioni di salute[1]. Nel 1895 abolì la schiavitù in tutto l'Afghanistan mentre nello stesso anno fu aperto nella capitale il primo ospedale civile con medici britannici[2]. Morì nel 1901 a Kabul, nel nuovo palazzo estivo di Bagh-e-Bala.