Erstmals erwähnt wurde das rechteckige Wasserschloss Kasteel Swieten 1312. Im Jahre 1321 wurde Swieten erstmals als Lehensgut der Heeren van S(Z)wieten vermeldet, welche erstmals mit heer Dirk van Zwieten, der im Jahre 1345 gemeinsam mit Graf Wilhelm IV. von Holland bei der Schlacht von Staveren in Friesland verstarb. Im Jahre 1359 gab der neue Graf Albrecht I. von Bayern-Holland den Auftrag, wegen unterlassener Lehenspflichten das Schloss schleifen zu lassen; dieses kam aber dann doch nicht zustande. Im Zuge des Haken-und-Kabeljau-Krieges kam es zu schweren Kämpfen um die Stadt Leiden, wobei auch das Kasteel Swieten in Mitleidenschaft gezogen und schlussendlich geplündert wurde.
Im 15. Jahrhundert wechselte die Lehenshoheit von den Grafen von Holland auf das Haus Borsselen und hernach auf das Haus Van Zuylen van Nijevelt. Im Jahre 1573 wurde das Schloss bei der Belagerung von Leiden erneut in Kämpfe hineingezogen. Im Jahre 1602 verkauften die Heeren van Swieten das Schloss und die Herrlichkeit an Hugo van Mierop, heer van Calslagen. Dessen Kinder verkauften das Schloss im Jahre 1632 an den Amsterdamer RegentenCornelis Bicker, welcher sich darauf Bicker van Swieten nannte. Im Jahre 1717 endete die letzte Bauphase mit der Gesamtverbauung des Schlossgeländes. Dieser Zweig der Familie Bicker starb im Jahre 1755 aus. Deren Nachfolger als Vrijheer von Swieten war Apollonius Jan Cornelis Lampsins, der Swieten im Jahre 1777 an Jan Danser Nijman veräußerte. Zwischen den Jahren 1795 und 1805 wurde das Schloss geschleift. Im Jahre 1975 wurde auf dem ehemaligen Schlossgelände das Hauptkontor der Bierbrauerei Heineken errichtet.
