Das Anwesen wurde Anfang des 15. Jahrhunderts als Jagdhaus der Wittelsbacher errichtet. Das Schloss kam dann in den Besitz von Ferdinand von Bayern. Er hatte in morganatischer Ehe am 26. September 1588 in München die erst 15-jährige Maria Pettenbeck (* 1573/1574; † 4. Dezember 1614/5.12. Dezember 1619) geheiratet. In 19 Ehejahren entsprossen aus dieser Ehe 16 Kinder; damit wurde die Wittelsbachische Seitenlinie der Grafen von Wartenberg begründet. Der letzte männliche Nachkomme war Maximilian Emanuel Graf von Wartenberg (* 22. Februar 1718; † 3. August 1736), der in der Ettaler Ritterakademie in Folge eines Unfalls – bei Schießübungen war dem Neunzehnjährigen ein Kirschkern ins Auge geschossen worden – verstarb.[2]
Das Gebäude kam 1809 in den Besitz eines Schulmeisters, der hier eine Schule errichtete. Diese kam in den Besitz der Marktgemeinde Wartenberg, wobei das Gebäude erheblich erweitert wurde. Nach der Aufgabe des Schulbetriebs im Jahr 1972 kam dort eine Textilfabrik unter, später lebten und arbeiteten Künstler in dem alten Jagdhaus. Das baufällige Gebäude war vom Verfall bedroht, aber eine Renovierung und Neunutzung als Mehrgenerationenhaus mit Veranstaltungssaal konnte letztlich erreicht werden.[3][4] Die Geschichte des Schlosses wird in romanhafter Weise von Gustav Weltrich geschildert.[5]
