In later jaren ging dit leenrecht over op Johan de Proost, die heer van Wechelderzande was. Deze bouwde het huidige kasteel op basis van een reeds in de 16e eeuw bestaand kasteel. In 1686 werd het eigendom van de pastoor van Wechelderzande, nadat Johan de Proost het moest verkopen. Het huis fungeerde vervolgens als pastorie van 1688 tot 1964 en nadien als gemeentehuis tot 1977[1]. Toen vond de gemeentelijke herindeling plaats en sindsdien is het een gemeentelijk centrum met bibliotheek en park. In 1939 werd het gebouw geklasseerd als beschermd monument. In 2019 werd aangekondigd dat de bibliotheek gesloten zou worden en dat de gemeente Lille zich zou herbezinnen op de bestemming van het kasteel.
Gebouw
Het gebouw is in baksteen met lagen zandsteen uitgevoerd. Kenmerkend is het torenvormige avant-corps, hoewel de huidige voorgevel vroeger achtergevel was. De trapgevels aan de zijden zijn een toevoeging vanuit de periode 1900-1911.
