Поместье Хольтен Энгельберт II фон Марк получил в приданое в 1299 году, сочетавшись браком с Мехтильд фон Хольте из рода Аренбергов. После выигранного спора о границах с Герцогством Клевским граф Энгельберт в 1307 году проводит работы по укреплению имевшихся строений и сооружает новые крепостные сооружения. Новая крепость состояла из основного и передового замка. Крепость была окружена рвами и высоким земляным валом, остатки которого можно видеть еще и сегодня.
В 1838 году в замке была открыта школа, а с 1968 года здание занимает спортивно-стрелковое общество.
От первоначальной окруженной рвом крепости до нашего времени сохранилось только восточное крыло замка, возведенное в XVI веке. Замок Хольтен находится под охраной государства.