In 1396 kocht Herman van Rouwenoort het kasteel Ulenpas. Volgens de koopakte was zijn kasteel Luttik Inghuisen, gelegen onder Eldrik, namelijk door oorlogsgeweld verwoest. Hierna bleef Klein Enghuizen een leengoed van het huis Keppel, maar het kasteel zelf is waarschijnlijk nooit meer herbouwd. In 1650 gaf een kaart het goed weer als een boerderij.
In 1836 werd Klein Enghuizen gepacht door Theodorus Giessen. Het betrof een boerderij met 32 hectare grond. De boerderij lag aan de noordzijde van de Barlhammerweg, waarbij het niet duidelijk is of de boerderij ook daadwerkelijk op het oude kasteelterrein is gebouwd.