Самая старая часть замка — дом-крепость из кирпича и гранита — была построена в XIV веке. Впервые замок упоминается в 1406 году[2]. Вскоре к дому-крепости была добавлена круглостенная пристройка. Вход в замок был расположен в юго-восточной части стены.
В начале XV века замок был перестроен. Новые ворота построили в западной части стены, возвели также надвратную башню и предвратное укрепление. В середине того же века добавили северо-западную, северо-восточную и юго-восточную круглостенные башни. Было также продолжено увеличение стен в высоту и ширину[2].
Замок ещё послужил как под властью Польши, так и Швеции с 1622 года центром замковой провинции Лайузе. Сразу после попадания под власть Швеции мыза Лайузе была подарена Хендрику Классону Флемингу (швед.Henrik Klasson Fleming).