Den äldsta anläggningen på den lilla ön i sjön Tolken härrör från medeltiden. Det kan möjligtvis ha varit ett kloster. Under 1400-talet kommer gården så småningom i händerna på ätten Snakenborg. På 1500-talet förvandlas Sundholmen till ett fast hus av Per Brahe d.ä. Ytterligare tillbyggnader genomfördes av Gustaf och Magnus Brahe. Godset drogs in till kronan under Karl XI:s reduktion. Slottet förföll därefter och brann 1706 sedan blixten slagit ner i slottet. Sedan dess har det stått i ruiner. Ruinerna renoverades i början av 1990-talet och är ett fint utflyktsmål om man har en båt att färdas med.