Het kasteel werd eeuwenlang bewoond door de familie de Thiennes. Rond 1538 breken zij de eerste burcht af en bouwden het eerste renaissancekasteel van Vlaanderen neer. Het kasteel werd beschadigd door de geuzen, en geteisterd tijdens de oorlogen van Lodewijk XIV van Frankrijk, de Franse Revolutie.
De kernstructuur van het waterkasteel is van voor 1535 gedateerd en werd in 1538 door Thomas de Thiennes uitgebreid met een kapel, vijf torens en een westelijke vleugel. Later werden nog een duiventoren (1609) en westelijke en oostelijke poortgebouw (1731) gebouwd. In de 18e eeuw werd het licht classicistisch verbouwd waarbij het Sterrebos werd aangelegd met het Prater van Wenen als model. De ingang werd in 1730 naar de zuidkant verhuisd. Boven de tudorboog-oosterpoort bevindt zich het wapenschild van de familie de Thiennes, die het kasteel bouwden. Rond 1780 liet men de grachten opvullen met zand.
Het kasteel werd in 1856 doorgegeven aan de familie Limburg-Stirum door het huwelijk van Marie-Thérèse de Thiennes met Graaf Thierry de Limburg Stirum. Deze familieleden werden vaak burgemeester van Rumbeke.
Tijdens de Eerste en de Tweede Wereldoorlog werd de streek bezet door de Duitsers. Het kasteel werd in die periode gebruikt als officierenkwartier. Van de Tweede Wereldoorlog zijn nog sporen terug te vinden in het kasteel: namelijk de oude parket is op bepaalde stukken beschadigd door de hakken van Duitse soldaten die tijdens het groeten hard tegen de houten vloer werden geslagen.
In 1961-65 werd het kasteel gerenoveerd met J. Viën als architect. In 1988 verkocht graaf Guillaume de Limburg Stirum het kasteel aan de NV Sterrebos die nog steeds de huidige eigenaars zijn. De restauratie van het kasteel werd afgerond in 2004.
Domein
Het kasteel bevindt zich langs het Sterrebos dat Prater van Wenen als model had. Het werd aangelegd tussen 1769 en 1774 onder leiding van tuinarchitect F. Simoneau. Langs de grote weide en vijver is een arboretum aangelegd. Op het plein voor het kasteel staat een indrukwekkende plataan, die vermoedelijk uit de 18e eeuw stamt, toen het park werd aangelegd. Het domein bevat ook een gedenkmonument aan zeven gesneuvelde Belgische soldaten die gestorven zijn tijdens zware gevechten rond het kasteel op 26 mei 1940.
Beschermd
Het landhuis werd beschermd als monument in 1942, de bijgebouwen in 1962. Het park werd beschermd als landschap in 1969.
