Le square a été créé en 1870 sous le nom de « square du Bon-Marché » en raison de la proximité du magasin du même nom.
Le square Boucicaut, la rue Velpeau et une partie des magasins du Bon Marché sont situés à l'emplacement d'un ancien hôpital pour lépreux, la maladrerie Saint-Germain. Cette léproserie fut remplacée en 1557 par l'hôpital des Petites-Maisons, devenu en 1801 l'hospice des Petits-Ménages[1] destiné aux vieillards indigents[2], transféré à Issy-les-Moulineaux en 1863 (actuel hôpital Corentin-Celton).
Le square, face à l'hôtel Lutetia, est un lieu de commémoration officiel de la Résistance et de la mémoire de la Shoah du 7e arrondissement de Paris et accueille des cérémonies[5].
Le 30 janvier 2024, il est inauguré un monument rendant hommage aux animaux morts pendant les guerres, en particulier la Première Guerre mondiale, car c'est à proximité sur le boulevard Raspail, qu’a été retrouvé fin août 1914 le chien Vitrier, « affaibli, revenant du front, ayant perdu la trace du 26e bataillon (…) auquel il était rattaché »[6].
Le square en arrière-plan, sur une publicité en 1900.