Entre-temps, il sort un deuxième roman, Les Mille Maisons du rêve et de la terreur, publié en 2002, et réalise deux documentaires, Nous avons partagé le pain et le sel et Afghanistan, un État impossible ?.
En 2005, sort son troisième roman, Le Retour imaginaire, suivi en 2008 par Syngué sabour. Pierre de patience, un huis clos entre un soldat afghan dans le coma et sa femme qui le veille et qui s'ouvre à la parole jusqu'à la rage. Contrairement à ses trois premiers romans écrits en persan, Syngué sabour est directement écrit en français, ce que Rahimi explique par le contenu : « Il me fallait une autre langue que la mienne pour parler des tabous »[réf. nécessaire]. Il est récompensé par le prix Goncourt le .
Il invente la callimorphie, un art graphique entre dessin et calligraphie persane et japonaise. Ses œuvres ont été exposées pour la première fois en 2014 par Anne-Dominique Toussaint à La Galerie Cinéma et à New-York, et au Salon d’automne de Paris.
Il définit ainsi sa croyance religieuse : « Je suis bouddhiste parce que j'ai conscience de ma faiblesse, je suis chrétien parce que j'avoue ma faiblesse, je suis juif parce que je me moque de ma faiblesse, je suis musulman parce que je condamne ma faiblesse, je suis athée si Dieu est tout puissant. »[5]