Efter den første Karl Gustav-krig1658 stod slottet tomt. Den sidste dansksindede ejer var flygtet til det nuværende Danmark. Fra 1685 fungerede slottet som bolig for chefen for den lokale svenske kavaleri. I 1818 kom slottet i den svenske konges besiddelse.