Auf der Insel wurde im Jahr 1446 ein befestigtes Herrenhaus von der Münchner Patrizierfamilie Katzmair erbaut. An dessen Stelle errichtete die gräfliche Familie Toerring in den Jahren 1770 bis 1772 das bestehende Schloss als Sommerresidenz.
Das 1982 bis 1984 restaurierte Schloss Wörth ist ein Walmdachbau mit zwei Geschossen von vier zu zwei Achsen. Es besitzt einen Mitteldachreiter. Im Obergeschoß liegt ein Saal mit Dekorationsmalereien im Rokokostil.[1] Das Schloss verfügt über eine gewölbte Kapelle, die profaniert ist.
Die Anlage ist unter der Aktennummer D-1-88-126-9 als denkmalgeschütztesBaudenkmal von Bachern verzeichnet. Ebenso wird sie als Bodendenkmal unter der Aktennummer D-1-7933-0191 im Bayernatlas als „untertägige spätmittelalterliche und frühneuzeitliche Befunde im Bereich des ehem. Hofmarkschlosses Wörth auf der Mausinsel im Wörthsee und seines Vorgängerbaus mit abgegangener Schlosskapelle“ geführt. Das Schloss ist nicht öffentlich zugänglich.