Georg Schenck fan Toutenburgh ferstoar yn 1540, wêrnei't it kastiel yn besit kaam fan Carel en nei dy syn dea yn besit fan syn âldere broer Frederik. Nei de dea fan Frederik yn 1580 kaam it kastiel yn hannen fan de geslachten fan Haersolte en van den Boetselaer.
Yn de 18e iuw rekke it kastiel yn ferfal. Tsjintwurdich is der allinnich noch in ruïne oer dêr't iepenloftspullen hâlden wurde.
