Het kasteel werd gebouwd voor Georg Schenck van Toutenburg, een edelman uit Tautenburg in Thüringen, die werd benoemd tot schout van Vollenhove. Hij was getrouwd met jonkvrouwe Anna de Vos van Steenwijck, die in 1526 overleed. Uit zijn tweede huwelijk met Joanna van Egmond werd onder anderen een zoon, Carel (1527–1571), geboren.
Georg Schenck van Toutenburgh overleed in 1540, waarna het kasteel in bezit kwam van zijn zoon Carel en na diens dood eigendom werd van Georgs oudere broer Frederik. Na de dood van Frederik in 1580 kwam het in handen van de geslachten Van Haersolte en Van Boetselaer.
In de achttiende eeuw raakte het bouwwerk in verval; er resteert alleen nog een ruïne. Een maquette van het oorspronkelijke kasteel is te zien in het Cultuur Historisch Centrum van Vollenhove. Hier bevinden zich ook diverse overblijfselen waaronder bouwelementen, aardewerk en de windvaan van de toren.
