Gaden er navngivet efter Valhalla, som i den nordiske mytologi er gudernes bolig, hvor Odin modtager de, der er faldet i kamp. Det er et meget kraftfuldt navn til en meget lille og umiddelbart lidt ufarlig gade.
Nr. 4: Der er en stor elpære i det lyse glasparti ved døren, og det er fordi det var her Søren Madsens Elektriske Etablissement, der senere blev til dansk Osram, havde til huse fra 1953-66. Før da lå fabrikken i Sigurdsgade. Arkitekt var Karl Weidemann Petersen med Højgaard & Schultz som entreprenører. Osram er én af mange virksomheder fra denne periode i området. Bygningen er opført i chokbeton og husede Osrams lager, kontor, garage og ekspedition. Lagerbygningen og garagehallen, som havde front mod Fafnersgade, blev revet ned i 1991. I kælderen var der bygget et beskyttelsesrum. Osram leverede elpærer til staten, bl.a. postvæsnet, jernbanen og hospitaler, og Københavns Kommune. I 1957 var der ca. 35 mennesker beskæftiget.
I 1982 blev bygningen omdannet til øvelokaler for musik og blev administreret af Københavns Kommune. I dag har aftenskolen Tingluti og Valhalsgades Medborgerhus lokaler i bygningen. Tingluti eller Københavns Folklore Center har boet siden 1982 (førhen boede de på Jagtvej 69).
Her har Haraldsgadekvarterets områdeløft også hovedsæde, hvilket afspejles i den lille udstilling man kan se i trappeopgangen.
