I middelalderen lå gården Mølletorp her, som var kirkegods. Eiendommen ble krongods etter reformasjonen, og kom i privat eie 1633. Fra 1685 tilhørte den visekansellipresident Michael Wibe, som oppførte en lystgård her. Wibes svigersønn overdro eiendommen til U. F. Gyldenløve, og etter ham overtok dennes svigersønn, greve Carl Ahlefeldt Sorgenfri 1702. Slottet kom 1730 i kongens eie, og ble brukt av medlemmer av kongehuset – deriblant av kongens svigerinne, Sophie Caroline av Brandenburg-Kulmbach - men var igjen på private hender 1769–89. Deretter tilhørte det arveprins Frederik (til 1805) og etter ham prins Christian Frederik, inntil det 1848–81 ble enkesete for dronning Caroline Amalie.
Fra 1898 var slottet sommerresidens for daværende arveprins Christian (senere kong Christian 10). Etter hans død i 1947 ble Sorgenfri bolig for arveprins Knud, og var bebodd av hans enke, prinsesse Caroline-Mathilde, til hennes død 1995. I Kavaleribygningen fra 1740-årene holder det lokale Hjemmeværnet til.
Hovedbygningen ble oppført av Carl Ahlefeldt 1705–06, og fikk sin nåværende form med tre fløyer og mansardtak 1743–44 etter tegninger av Laurids de Thurah. Slottet ble ombygd 1790, og fikk da sine nåværende innvendige utsmykninger, utført av Nicolai Abildgaard.
