Urodził się i wychował w Belfort[4][5], w regionie Franche-Comté, w departamencie Territoire de Belfort, w północno-wschodniej Francji. Studiował na wydziale sportu na Université de Strasbourg I, a następnie przez rok studiował informatykę i matematykę na Paul Valéry University w Marsylii, a potem na wydziale kina na Uniwersytecie w Montpellier.
W 2005 zagrał tytułową rolą Tahara w niskobudżetowym filmi dokumentalnym Tahar Student (Tahar l'etudiant). Następnie przeniósł się do Paryża, by kontynuować karierę aktorską, zaczynając od pracy scenicznej. W pierwszym filmie fabularnym Najście (À l'intérieur, 2007) z Béatrice Dalle wystąpił w roli policjanta. Później zagrał w miniserialu Canal +Komuna (La Commune, 2007)[6][7].
Główna rola Malika El Djebeny w Proroku (Un prophète, 2009) przyniosła mu międzynarodowy rozgłos. Film miał premierę na 62. MFF w Cannes, cieszył się powszechnym uznaniem i zdobył liczne wyróżnienia na całym świecie, w tym nagrodę Grand Prix w Cannes i dwa Cezary w kategorii najlepszy aktor i najbardziej obiecujący aktor. Rahim odebrał także Europejską Nagrodę Filmową dla najlepszego aktora.
