Pipers utvidelsesplan (rød linje), lengst til høyre ligger "Hemmet".Hemmet sett fra den engelske parken.
Bygningen fikk en dominerende plassering på en topp like nord for landeveien. Den skulle fungere som et blikkfang i en av flere siktlinjer gjennom den nyanlagte engelske parken.[1] I Drottningholms engelske park, som ble tegnet i 1797 av hagearkitekten Fredrik Magnus Piper, hadde Gustav III tenkt seg blant annet et amortempel, et kinesisk tårn og et lite gotisk slott. I en utvidelse mot nord planla Piper en hule med en kanal og kunstige fosser, en pelouse, en liten sjø med broer og promenadestier samt en tyrkisk paviljong. Mye minner om idéene for Hagaparken, som ble tegnet omtrent samtidig av Piper. Nå går Ekerövägen tvers gjennom dette området. De dominerende byggverkene ble knyttet sammen med siktlinjer. I dag fyller bare Götiska tornet, Vakttältet og Hemmet denne oppgaven.
En tidligere bygning ble revet i 1782 og på tomta fikk Gustav III oppført den nåværende imponerende bygningen med fire to etasjer høye søyler i dorisk orden og en bred sandstenstrapp på inngangssiden. Inspirasjon til den nye bygningen fikk Gustav III på sin reise i Italia i 1784. Han engasjerte sannsynligvis Olof Tempelman, som var tilhenger av den nyantikke stilen.
De opprinnelige beboerne var forvalteren på Kungsgården, som bodde i første etasje og presten i Lovö menighet, som bodde i overetasjen. I 1816 ble huset bygd om til stattholderbolig. For å unngå forveksling med stattholderens kanselli, som lå i Kanslihuset, ble denne bygningen kalt Hemmet.[1] Bygningen var tidligere lysegul, men i 1971 ble bygningen malt hvit, med en svak brytning i gult.
