Abd al-Rahman behoorde tot de vroege bekeerlingen tot de islam. Tijdens het kalifaat van Aboe Bakr en Omar was hij hun grootste ondersteuner en raadsman. Ook behoorde hij tot de commissie die na de dood van Omar de opvolgende kalief moest kiezen. Nadat hij zich vrijwillig terugtrok als kandidaat, koos hij toen als voorzitter Oethman ibn Affan als opvolger van Omar. Verder zijn er van Abd al-Rahman ibn Awf 65 overleveringen over Mohammed bekend.
Na een rustig leven en het bereiken van een hoge leeftijd stierf hij in 652 in Medina tijdens het kalifaat van Oethman. Zijn begrafenisgebed werd verricht door Oethman.
