Gården består av en huvudbyggnad och två fristående flygelbyggnader. Huvudbyggnaden accentueras av en tvärställd, infogad byggnadskropp i två våningar. Samtliga tak är utformade som sadeltak, klädda med svart målad plåt på huvudbyggnaden respektive enkupigt taktegel på flyglarna.
År 1792, strax efter Gustav III:s död fick balettmästaren Louis Gallodier Hvilan som livstidsförläning av hertig Karl (sedermera Karl XIII). Kontraktet gällde sedan också för hans barn och släkt som innehade gården fram till 1868. Efter en tids förfall fungerade Vilan som café.
År 1906 tillträdde Axel Wallenberg som lät renovera gården. Bland annat bevarades kinesiska handmålade tapeter och väggmålningar. Nuvarande veranda härrör från 1914. Åren 1988-89 utfördes en omfattande upprustning av interiören och exteriören. Byggnaden används numera som privatbostad.