En 1805, la rue Castex est percée[1] à travers la plus grande partie des anciens bâtiments du couvent du temple des Filles de la Visitation Sainte-Marie[2]. La rue s'étendait alors au sud jusqu'à la rue de la Cerisaie comme le montre la superposition du plan parcellaire de Vasserot (1810-1836)[3].
À l'angle de la rue Saint-Antoine, le temple est conservé, de même que l'immeuble du 14, rue Castex (probablement fin XVIIIe).
Le temple du Marais, à l'angle des rues Castex et Saint-Antoine.
Le no 3 est une voie privée.
Bâtiments remarquables et lieux de mémoire
1830 : année approximative de construction du no 1 et probablement du no 3[5].
1876 : destruction de l'extrémité sud de la rue Castex sur environ 50 mètres[6] lors du percement du boulevard Henri-IV. L'immeuble actuel du 1, rue Castex devient la nouvelle extrémité sud de la rue. Il est clairement visible sur les photos de Charles Marville et sera surélevé d'un étage pour s'accorder au gabarit des nouveaux immeubles haussmanien construits le long du boulevard Henri IV. Une reconstitution permet de voir l'évolution du tracé[7]. Plusieurs photographies de Charles Marville datées de 1876 montrent la rue Castex et ses bâtiments à l'occasion du percement du boulevard Henri-IV[8].
Les constructions des nos 2 et 8 sont postérieures à 1876.
No 3 : voie privée.
Les nos 6 et 14 sont antérieurs à 1876 (toujours d'après la photo de Marville).
1881 : construction du no 4 (Claudius Pupier, architecte).
La construction du no 9 est postérieure à 1876 (seul immeuble actuel absent de la photo de Marville).
1911 : construction du no 10 (J. Monod et Bocsanyi, architectes).
No 12 : bureau de poste construit en 1935 (J. Bukiet, architecte)[9]. Il a fait l'objet d'une extension supérieure en 1996.