Frem til midten af 1500-tallet tilhørte slottet den dansk-skånske familie Drefelt. I 1630 kom slottet til godsejer Falk Lykke. Han gennemførte en omfattende tilbygning. Falk Lykke beholdt Gersnæs til sin død. Da ægteskabet med Kirsten Rantzau var barnløst, overgik godset til familien Rantzau. Kort tid efter Roskildefreden i 1658, hvor Danmark tabte Skåne til svenskerne, overdrog Rantzauerne godset til den svenske krone. I dag er godset privatejet.
