Az utca a londoni parlament épületétől mindössze pár percnyire, a Buckingham Palotától valamivel messzebb helyezkedik el. Az utca építője és névadója, Sir George Downing (1632-1689) itt, az úgynevezett Hampden-házban lakott az 1680-as években. Az utca nyugati oldalán található épületeket a 19. században lebontották, hogy teret adjanak a kormányzati irodáknak.
Az utca leghíresebb címe a 10-es szám, a miniszterelnök hivatalos rezidenciája. A Kincstár Első Lordja és a miniszterelnök hivatalos rezidenciája. Az 1720-as évek óta a két posztot szinte kivétel nélkül mindig a miniszterelnök töltötte be. A 10. számú ház 1735 óta a mindenkori brit miniszterelnök rezidenciája, de a kétemeletes téglaházban miniszteri hivatalok is helyet kaptak. A 11. számú házban a pénzügyminiszter lakik. Biztonsági okokból 1989 óta kapu zárja le az utcát a Whitehalltól.
Downing meggazdagodásának kulcsát abban látta, ha ingatlanokat szerez közel a Westminsterhez. Közel 30 évet kellett várnia, hogy 1682-ben a kiszemelt terület feletti bérlet jogát megszerezze. Az ott lévő házakat azonnal lebontatta. Terve az volt, hogy egy 15-20 házból álló zsákutcát építtet a mai Downing Street északi oldalán. Mivel azonnali megtérülést és hasznot akart, ezért a házak alacsony költséggel, csekély alapozással, silány kivitelben készültek el az akkor még mocsaras területen.
A házak számozása teljesen esetleges volt, a mai 10-es szám eredetileg 5-ös volt, amíg 1779-ben újra nem számozták.
Amikor az ír függetlenedési mozgalom erőszakossá kezdett válni, egy 3 méter magas fa torlaszt építettek, hogy lezárják az utca két végét, ezt 1922-ben a szabad ír állam létrejöttekor bontották le. Azonban biztonsági okokból 1989-ben újra, a mai is látható acél kerítést, kaput és az úttestből kiemelkedő acél barikádot állították fel.
A híres 10-es számú ajtó
A mai Downing Street 10. két épület egyesítéséből, – a Downing-féle épület és a mögötte lévő Horse Guard Parade-ra néző, 1677-ben épült nagyobb épületből – jött létre.
Az 1730-as évekre jelentős változások mentek végre a politika, a parlament és a kormányzás terén, ekkor II. György brit király odaajándékozta az épületegyüttest Sir Robert Walpole-nak, aki ez idő tájt a „First Lord of the Treasury” tisztét betöltve, gyakorlatilag az első miniszterelnök volt. Walpole visszautasította az ajándékot, azt kérve, hogy az épület szolgáljon a mindenkori miniszterelnök hivatalául. 1735-re átépítették és berendezték úgy, hogy megfeleljen a miniszterelnöki státusznak. Ettől kezdve megtalálható a híres 10-számú ajtón a „First Lord of the Treasury” feliratú bronz levélszekrény.
Azonban nem sikerült azonnal hagyományt teremteni, az idők folyamán sok miniszterelnök döntött úgy, hogy nem költözik be a házba. Így a háznak a több száz éves fennállása alatt voltak fényes és kevésbé fényes korszakai. Ez idő alatt állaga hol leromlott, hol felújították, bővítették és átalakították. 1938-ban még az is felmerült, hogy lerombolják az utca északi oldalán álló házakkal együtt, hogy helyükön egy új modern épületegyüttest emelhessenek. Végül a terv nem valósult meg.
A fekete „sárgatéglás” épület
Az új épület építésének terve még egyszer, a második világháborút követően is felmerült, de végül csak a 12-es számú épületet rombolták le. A 10-es számú és a 11-es számú épületet a történelmi múltja miatt – a légibombázások alatt elszenvedett károk ellenére is – renoválták és felújították.
A munkálatok 3 évig tartottak és a tervezett 500 000 fontos költségvetés dupláját vették igénybe. A renoválás során kiderült, hogy a fekete épület valójában sárga, és a évszázadok során rárakódott szennyeződés adja jellegzetes sötét színét. Hogy megőrizzék hangulatát, ezért a felújítást követően ismét feketére festették.
1828-tól a Kincstár Második Lordja rezidenciája. Ezt a posztot1827 óta mindig a Kincstári kancellár, azaz a pénzügyminiszter tölti be.
A szomszédos 11-es számú épület a mindenkori pénzügyminiszter hivatalos rezidenciája 1928 óta. Bár hivatalosan a 10-es a miniszterelnök, a 11-es a pénzügyminiszteri otthona, de nem minden esetben volt ez így. Legutóbb Tony Blair miniszterelnöksége idején cseréltek házat – az akkor pénzügyminiszter – Gordon Brown-nal, hogy a több gyermekes Blair család kényelmesebben elférjen a nagyobb, 11-es épületben.