Kasteel Ruyf is gebouwd op een lagergelegen terrein in de nabijheid van het later gebouwde Kasteel Baelen. Het is een aan drie zijden omgracht kasteel dat aan de zuidkant begrensd is door een grote vijver.
Het kasteel bestaat uit een ingangsgebouw met twee vleugels. Het ingangsgebouw en de westelijke vleugel dateren uit het begin van de 19e eeuw, maar de mooie oostelijke vleugel is ouder en stamt uit 1716. Zij heeft een vierkante toren met op de top een schoorsteen. Enkele bouwkundige details zouden nog uit de 14e eeuw kunnen stammen.
Het kasteel heeft geen opmerkenswaardig interieur, afgezien van een gebeeldhouwde schouw in de voormalige eetkamer, nu een kapel, van roze marmer.
Bewoners
De oudste vermelding van de heerlijkheid Ruyf is 1314. Er waren twee heerlijkheden in Ruyf: Baelen en Ruyf, die beide ondergeschikt waren aan het hertogdom Limburg, waar Hendrik-Kapelle toe behoorde.
In 1314 was het kasteel in bezit van Henri de Rueve, zoon van Wijnand van Julémont. In 1355 was het eigendom van Gothard van der Kapellen (Godefroid de la Chapelle). Hij verkocht het goed aan Johan Hanneman uit Baelen die het omstreeks 1370 in bezit had. Daarna dook Guedeken, echtgenote van Jan Krummel van Eynatten op, die omstreeks 1380 eigenares was en het in 1406 nog steeds bezaten. Daarna ging het over op hun zoon Diederik Krummel van Eynatten en vervolgens op diens zoon Jan Krummel van Eynatten, die getrouwd was met Catherina van Schwartzenberg. In 1467 werd het bezit verdeeld onder hun kinderen, waarbij het Kasteel Ruyf toekwam aan hun zoon Jan Krummel van Eynatten. Deze had een dochter uit zijn huwelijk met Sophie de Brempt. Door het huwelijk van deze dochter met Górard van Pallandt kwam de heerlijkheid aan de familie De Brempt.
In 1530 kwam de heerlijkheid aan Gerard van Pallandt, maar in 1534 verkocht hij Kasteel Ruyf aan zijn broer Werner van Pallandt en diens vrouw Jeanne van Bronckhorst de Bettenburg. Deze lieten het bezit in 1551 na aan hun kinderen. Een van hen, Diederik van Pallandt (Thierry de Palant) werd in 1554 eigenaar uit naam van alle kinderen. Na de dood van Werner volgt zijn oudste broer hem op.
Hierna ging de Ruyff over op baron Carsilis van Pallandt, heer van Reuland, die stierf in 1606. Zijn weduwe, Odilia van Vlodrop, volgde hem als eigenaar op. In 1618 was het kasteel opnieuw eigendom van iemand met de naam Werner van Pallandt. Deze verkocht het aan zijn broer Philippe. In 1626 volgde Jean Werner van Pallandt hem op en deze verkocht het bezit aan Laurent Doenraedt ten behoeve van Nicolas van Croonenberg, echtgenoot van N. van der Heyden, die in 1644 ook de heerlijkheid Hendrik-Kapelle kocht, alsmede de heerlijkheid Veltjaeren. In 1655 kwam de heerlijkheid aan zijn zoon, Adam Philippe van Croonenberg. In 1689 werd de heerlijkheid echter onteigend omdat hij was veroordeeld voor het aanmaken van valse munten op het kasteel. Hij kreeg het kasteel echter terug in zijn bezit, maar deed er in 1703 afstand van. Uiteindelijk werd de heerlijkheid in 1709 verkocht aan Daniël Wolff baron van Dopff, die het in 1716 weer verkocht aan François Beaumont, een heer die vooral vele schulden bezat.
Het kasteel was door de Croonenbergs slecht onderhouden en ook nog beschadigd bij een beschieting door de Fransen in 1693. In 1736 kwam het kasteel, door onteigening om financiële redenen, aan Mathieu de Fromenteau. Deze was gehuwd met Marie Lambertine de Franquinet. Hun zoon, Lambert Antoine de Fromenteau, erfde het kasteel. Zijn zoon, Mathieu Arnaud Guillaume Antoine de Fromenteau de Ruyff erfde het landgoed maar overleed in 1831 zonder nageslacht. Daarom ging het bezit over op hun neven, Auguste, Edouard en Jules de Waha Baillonville. In 1835 blijven alleen baron Auguste en baron Edouard de Waha Baillonviile over als eigenaren, maar in 1853 verkochten zij het landgoed van 89 ha aan Florent de Thiriart de Mützhagen, die het naliet aan zijn achterneef, Gaston de la Rousselière Clouard. Deze gaf het kasteel inclusief vijver, tuin, moestuin, ongeveer drie ha, in 1898 voor een periode van negen jaar in pacht aan de paters Lazaristen van Theux om het in 1907 aan hen te verkopen. Het werd daarna gebruikt als een psychiatrisch ziekenhuis, nadat de Alexianen reeds in 1875 een dergelijke inrichting hadden opgericht in Kasteel Baelen.
