Byggnadens uppförande var en konsekvens av den nya väg- och broförbindelsen mellan Drottningholm och Stockholm som öppnades 1787. Ansvarig för projektet var Carl Fredrik Adelcrantz som då var kunglig arkitekt och chef för Överintendentsämbetet. Förbindelsen gick via Brostugan på Kärsön, Nockeby värdshus, Tranebergs värdshus och Kungsholmen.
Stallbyggnaden, var liksom slottet och det intilliggande Stenvärdshuset, synligt på långt håll för resande från Stockholm och bildade fonden för den nya vägen mot Drottningholm.
Byggnaden är ett stenhus i två våningar med huvudbyggnad mot vattnet och två flyglar mot land. Hertigarnas stall fick sannolikt sitt namn från att den var avsedd för hertigarnas (kungens bröder) hästar och ursprungligen fanns det ett femtiotal spiltor i bottenvåningen och bostäder för kuskar och stalldrängar i huvudvåningen. Stallfunktionen fanns kvar in på 1900-talet. Byggnaden var värdshus 1924-73 och därefter kontor innan Ekerö kommun köpte huset 1985.