C'est vers 889 que sera construit le premier château fort, celui-ci fut détruit un siècle plus tard. Au XIe siècle, Henri 1er de Namur, Comte de Durbuy, fit rebâtir la forteresse.
En 1726, la famille d'Ursel reprend l'engagère et, dès 1756, devient propriétaire du château.