Cette voie est l'une des plus anciennes rues du 12e arrondissement[2]. Elle apparaît sur le plan d'Albert Jouvin de Rochefort de 1672 sous le nom de « rue de Ruilly »[2], elle porta le nom de « Petite rue de Reuilly » ou « rue du Bas-Reuilly » à cause du voisinage de la rue de Reuilly[3]. Elle aurait aussi été nommée « Vieille rue des Mousquetaires »[2]. Elle garda le nom de « Petite rue de Reuilly » jusqu'au , date à laquelle elle prit le nom de « rue Érard »[2].
Sur le côté nord-ouest de la rue, entre les numéros 9 et 21 actuels, se trouvait le « manoir de Reuilly », longtemps considéré comme un lieu de résidence du roi Dagobert[2]. Ce manoir a été la propriété des Templiers au XIIIe siècle puis des Hospitaliers de l'ordre de Saint-Jean de Jérusalem avant de devenir propriété du roi de France[2]. Il connut par la suite plusieurs autres propriétaires dont, à partir de 1602, M. de Chanteloup, maître d'hôtel du roi[2].
Sur le côté sud-ouest de la rue, au niveau de l'actuel numéro 12, se trouvait au XVIIIe siècle le couvent des Dames de la Trinité dont les jardins s'étendirent jusqu'à la rue Montgallet[2].
Bâtiments remarquables et lieux de mémoire
Le peintre Jean Feugereux (1923-1992) avait son atelier parisien dans cette rue.
Aux nos 11-19, les architectes Mario Heymann, Roger Anger et Pierre Puccinelli ont construit, en 1962, trois tours reliées entre elles par des ponts afin d'individualiser l'habitat collectif. Les différentes avancées devaient donner « l'impression d'un empilement de maisons individuelles ».