In documenten is er sprake van ene Dudo van Rijswijk (1080) en Jan van Rijswijk (1125). Vervolgens werd nog een Govelijn van Rijswijk en opnieuw een Jan van Rijswijk (1300) genoemd. Men neemt aan dat deze het goed in leen kregen van de heer van Altena, toen was dat Willem II van Horne. Deze verklaarde: Ende gheven hem oerlof sine mueren te helen, zijn poerthuus te maken ende een kemmenade daerbinnen te timmeren. Blijkbaar werd toen het oorspronkelijke kasteel gebouwd. In 1363 werd nog een Willem van Rijswijk vermeld.
In 1560 kwam het aan de familie Van Clootwijk, via huwelijk van Florentia van Rijswijk met Jan van Clootwijk. Daarna werd Cornelis van Clootwijk met het goed beleend, en in 1593Asweris van Clootwijk. Daarna kwam het goed aan Gerard Sprunck, en na diens dood in 1615 werd Adriaan Sprunck de heer. Vervolgens kam het goed aan Willebrord Filips van Nederveen en daarna aan zijn zoon Willebrord van Nederveen. Deze stierf in 1685, waarna Maria van Nederveen vrouwe van Rijswijk werd. Zij trouwde met Hendrik van de Graaf en later met ds. Christophorus Mollerus. Een dochter uit het eerste huwelijk, Agatha van de Graaf, werd vrouwe van Rijswijk. Toen zij in 1750 stierf kwam het goed aan Henriëtta de Bije, gehuwd met Jan Verhagen. Henriëtta was de dochter van Marya, een ander kind van Maria. Zij verkocht het goed in 1756 aan Lambertus van Andel. Het is deze persoon die het huidige huis liet bouwen op de fundamenten van het oude kasteel.
Zijn weduwe hertrouwde met ritmeester Oswald Tulleken. Deze overleed in 1795. Zijn broer Johan Tulleken erfde het, maar hij stierf al in 1798. Daarna kwam het aan zijn kleinzoon, ene J. Tulleken en in 1825 werd het slot met moeshof, pleziertuin en verdere wandelingen verkocht aan Jan Hendrik van Ouwerkerk, gehuwd met Adriana Pols; het recht zich heer van Rijswijk te noemen bleef aan de familie Tulleken. Hij stierf in 1886. Vervolgens kwam het aan hun zoon, Jan Hendrik van Ouwerkerk, burgemeester van de gemeente Rijswijk. Hij overleed in 1914 waarna het slotje in 1921 werd verkocht aan W. Schaap, die heemraad van het Waterschap was. Deze bewoonde het echter niet.
De gemeente wilde het kopen om in te richten als gemeentehuis. Dit ging echter niet door in verband met de naderende Tweede Wereldoorlog. De heer Schaap wilde het slotje, dat bouwvallig geworden was, na de Tweede Wereldoorlog slopen en met het puin de grachten dempen. Het werd echter gekocht door R. Mulder, die het liet restaureren. Verdere verfraaiing volgde door jhr. mr. Theodoor Sandberg (1939), oud-advocaat en procureur te Rotterdam, die het nog steeds bewoont.
Gebouw
Het huidige gebouw is een omgracht herenhuis uit 1756 dat men via een oprijlaan en een ophaalbrug kan betreden. Het huis is symmetrisch van opzet, heeft twee bouwlagen en is afgedekt met een schilddak. De terugspringende bijgebouwtjes aan beide zijden hebben een plat dak. Deze dateren uit 1928. Het geheel is omgeven door een park in Engelse landschapsstijl.
Een deel van de fundamenten van het oudere kasteel, waarop het herenhuis gebouwd is, doet dienst als kademuur. Opgravingen, onder meer verricht in 1950, brachten de fundamenten aan het licht van de woontoren. Ook vond men de aanzet van een gewelvenkelder.
1250: Heijman van Rijswijck 1300: Heijman Heijmansz. van Rijswijck 1300 - 1321: Jan van Rijswijck (ca. 1270-na 1321) 1363: Boudewijn Jansz. van Rijswijck
ca. 1380 Floris van Dalem, trouwde Ave van Rijswijck 1389 - voor 1404: Jan Florisz. van Rijswijck van Dalem 1404 - 1436: Roelof Florisz. van Rijswijck 1436 - 1441: Glimmer Jansz. 1441 - voor 1485: Jan Glimmersz. van Rijswijck 1485 - 1501: Jan Jansz. van Rijswijck 1501 - 1507: Adriaan Jansz, van Rijswijck 1507 - 1509: Peter Jansz. van Gent, trouwde in 1499 Elisabeth van Rijswijck 1509 - 1542: Gherit Jansz. van Rijswijck, ambachtsheer van Rijswijk[1] 1542 - 1543: Sweer ook Assuerus van Rijswijck, (ca. 1510-1543), ambachtsheer van Rijswijk[2] 1543 - 1554: Cornelis Sweeren van Rijswijk 1554 - 1560: Floorke Sweersd. van Rijswijck, trouwde ca. 1540/1545 met Jan Reywaertz. van Clootwijck de jonge, geb. ca. 1510/1520, ambachtsheer van Rijswijk[3] 1560 - 1582: Cornelis van Clootwijck (1540-1577) 1582 - 1593: Assuerus van Clootwijck 1593 - 1615: Gerrit Sprunck 1615 - 1628: Adriaan Sprunck 1628 - 1647: Willeboort Philipsen van Nederveen 1647 - 1651: Adriana van Nederveen 1651 - 1685: Willeboort Willeboortsen van Nederveen. 1685 - ??: Maria van Nederveen.
?? - 1754: Agatha Catharina van de Graeff. 1754 - 1757: Henriette Catharina de Bije. 1757 - 1773: Lambertus van Andel. 1773 - 1787: Elisabeth Wolfsen.
Tulleken
1787 - 1795: Oswald Theodorus Tulleken
[...]
Johan Burchard Adolph Tulleken (1828-1879), heer van Rijswijk, lid van het geslacht Tulleken
jhr. mr. Johan Burchard Diederik Tulleken (1860-1939), heer van Rijswijk
jhr. Johan Burchard Adolf Tulleken (1887-1968), heer van Rijswijk
jkvr. Elsje Louise Eefje Tulleken (1923-2013), vrouwe van Rijswijk
↑Nationaal Archief Den Haag, Heren van Altena, inv. 68 fol. 39v, 1507/1509: Huis en gerecht van Rijswijk vererven van Adriaen van Rijswijck, via Pieter van Gendt als man van Elisabeth van Rijswijck naar zijn zwager Gerrit van Rijswijck.
↑Nationaal Archief Den Haag, Heren van Altena, inv. 69, fol. 26 en 27, d.d. 27-1-1543: Huis en gerecht van Rijswijk gaan over op Zweder van Rijswijck na het overlijden van Gerard zijn vader
↑Nationaal Archief Den Haag, Heren van Altena, inv. 69, fol. 28, d.d. 3-10-1554: Jan van Clootwijck Reijnertsz. wordt beleend met het huis en gerecht van Rijswijk voor Floris van Rijswijck Sweersd. zijn vrouw
