Ulicu Downing izgradio je znani spletkaroš i prevrtljivac iz engleskog građanskog rata - George Downing, bliski suradnik Olivera Cromwella i njegov šef sigurnosti.[1] Kad je Cromwell umro 1658, Downing je shvatio da je došao kraj lagodnom životu, i ponudio svoje usluge dojučerašnjim neprijateljima i novom monarhuCharlesu II. Charlesu baš nije bilo drago uzeti u službu neprijatelja svog ubijenog oca - ali mu je bio potreban netko upućen u zakulisne parlamentarne igre, pa ga je uzeo.[1]
Downing je brzo napredovao i stekao veliko bogatstvo, koje je htio brzo oploditi pa je pokupovao terene oko Palače Whitehall s namjerom da ih preproda.
Zbog tog je duž ulice Downing sagradio niz jednostavanih kuća koje se protežu sve do Park St. James .[1]
Prvi premijer koji je živio u kući na broju 10 bio je Robert Walpole - 1735. Kralj mu je ponudio cijelu kuću na poklon, ali je Walpole to odbio, predloživši da to ostane objekt za funkcionere.[1]
Ipak sljedeća dva premijera nisu se htjela useliti u kuću na broju 10, već su nastavili živjeti u svojim starim domovima. Takvo stanje potrajalo je do 1763. kad se Lord North uselio u ponuđenu mu rezidenciju.[1] Odtad je većina britanskihpremijera svoj mandat provela, živjevši na toj adresi.
