Det var dog mest Conrad Reventlows datter Anna Sophie Reventlow, der gjorde stedet kendt. Hun blev nemlig bortført af en forelsket kong Frederik 4. Han giftede sig med hende, først til venstre hånd, men efter dronning Louise af Mecklenburgs død i 1721 gjorde han hende til dronning. Da kongen i 1730 døde, blev Anne Sophie forvist til sit gamle hjem Clausholm Slot, hvor hun tilbragte sin enketid i selskab med sit hof.
I slottets kapel, der er indrettet af Anna Sophie, findes et af Danmarks ældste orgler, bygget omkring 1700 af Brødrene Botzen fra København. Slottet har erhvervet ekstra berømmelse takket være fundet af de såkaldte Clausholm-fragmenter (se link til Musikhistorisk Museum nedenfor).