La història d'aquest barri sempre ha estat lligada al de Villaverde. Abans del 31 de juliol de 1954 formava part del municipi de Villaverde, però va passar a formar part de la ciutat de Madrid amb l'absorció de Villaverde i ja dins del municipi de Madrid, part d'Usera en l'organització administrativa de districtes i barris de 1988.
Transports
El barri està comunicat amb la xarxa Metro de Madrid des de la primavera de 2007 per dues estacions, ambdues en la Línia 3. Aquestes estacions són, per una banda San Fermín-Orcasur, compartida amb el barri d'Orcasur, situada en l'Avinguda d'Andalucía en la confluència amb l'Avinguda de los Fueros.
L'altra estació que dona servei als veïns és Hospital 12 de Octubre, situada en la Glorieta de Màlaga. Aquestes dues estacions donen accés directe a la Puerta del Sol (Estació de Sol) en 10/12 minuts. També disposa en els seus voltants d'una estació de rodalia, Doce de Octubre (C-5), al barri d'Almendrales.
San Fermín té servei d'autobusos de l'EMT de Madrid, passant pel barri les línies 23, 78 i 123 i per la veïna Avinguda d'Andalucía les línies 18, 22, 59, 76, 79, 81, 85 i 86. Aquestes línies donen al barri comunicació amb la Plaça Mayor, Legazpi, Atocha, Embajadores i Oporto.
El barri de San Fermín està representat a nivell esportiu per nombroses agrupacions esportives de diferents esports, si bé cal destacar l'A.D.C Sanfer, l'equip de futbol històric del barri.
En l'actualitat es troba enquadrat en el Grup 5 de la Segona Divisió d'Afeccionats de la Lliga Regional de Madrid. Aquest equip és el resultat de la fusió de diverses entitats futbolístiques del barri, com el Carabelos, el Virgen de la Antigua i el C.F. San Fermín. Ha disputat eliminatòries per a l'ascens a categoria nacional (Tercera Divisió). Entre les seves fites destaca la victòria a domicili per 1 a 3 al Getafe CF en la temporada 85-86 en l'Estadi de las Margaritas en categoria Preferent, sent l'únic equip capaç de vèncer aquest any al Getafe CF al seu estadi.
L'uniforme d'aquest equip es compon de samarreta vermella i pantalons i mitges negres.