Avant le percement du boulevard Haussmann, la rue allait jusqu'à la rue Saint-Nicolas-d'Antin (rue de Provence). La partie comprise entre cette rue et la rue Neuve-des-Mathurins (rue des Mathurins) avait été ouverte en 1775 avec une largeur de 9,74 mètres sur des terrains dépendant d'une ferme appartenant à des religieux de l'ordre des Mathurins[2]. Cette ferme se trouvait à l'emplacement actuel de la rue Tronchet, au nord de la rue des Mathurins[1].
En vertu d'une ordonnance royale du , les sieurs Étignard de La Faulotte frères et Godot de Mauroy frères furent autorisés à ouvrir sur les terrains leur appartenant une rue de 12 mètres de largeur pour faire communiquer l'impasse de la Ferme-des-Mathurins avec la rue Basse-du-Rempart[2]. Cette ordonnance reçut aussitôt exécution et la nouvelle rue fut dénommée « rue Neuve-de-la-Ferme-des-Mathurins ». Les deux parties furent ensuite réunies sous la dénomination de « rue de la Ferme-des-Mathurins ».
Le percement de la rue Neuve-de-la-Ferme-des-Mathurins fit disparaître l'ancien passage du Chant-de-l'Écu du côté de la rue Basse-du-Rempart (incorporée dans l'actuel boulevard de la Madeleine)[1].
Elle prend sa dénomination actuelle par un arrêté du .
No 22 : Le docteur Edgar Bérillon (1859-1948), fondateur de l'école de psychologie et de la société de psychothérapie, d'hypnologie et de psychologie en 1889 y habitait et y est décédé ; une plaque commémorative y est posée. Il est l'auteur de nombreux articles et ouvrages sur l'hypnotisme (La Science de l'hypnotisme) et dirigea pendant de longues années la Revue de l'hypnotisme devenue la Revue de psychothérapie et de psychologie appliquée. Son œuvre médicale repose sur la création de l'orthopédie mentale grâce à laquelle on réalise la guérison des maladies de la volonté, du caractère et du jugement.