En su lugar se encontraba el llamado pabellón de madera (träpaviljongen), construido en 1753, una especie de edificio prefabricado que formó parte del regalo de bodas que la entonces princesa Luisa Ulrica recibió por parte de su marido Adolfo Federico.
El pabellón actual sustituyó al de madera a partir de 1769 por iniciativa de Luisa Ulrica. La arquitectura consiste de un estilo rococófrancés, con inspiraciones en el arte chino y oriental que le dan un carácter exótico, como la decoración escultórica y cromática de la fachada. La arquitectura del palacio obedece sin embargo a un diseño típicamente europeo. La decoración interior es de estilo rococó sueco. Una serie de pabellones se encuentran interconectados entre sí y con la parte principal del palacio. Uno de ellos es el pabellón Confidencen, un comedor que contiene una table-à-confidence, que es una mesa que se esconde bajo el suelo hacia un sótano donde la servidumbre sirve la cena.
Entre 1943 y 1945 el Pabellón Chino fue restaurado en su exterior y entre 1959 y 1968 en su decoración interior. Una nueva remodelación fue iniciada en 1990.
