Das dreigeschossige Herrenhaus mit Steilsatteldach ist im Kern spätgotisch und wurde im 17. und 18. Jahrhundert immer wieder verändert. 1835 erfolgten weiter Um- und Neubauten. Die Terrasse wurde Ende des 19. Jahrhunderts errichtet. Auch der Park wurde um diese Zeit angelegt.
Schloss Guggenberg wurde erstmals 1441 als Forsthaus des Hochstifts Augsburg erwähnt. 1448 vergab der Bischof den Hof zu Lehen an die Augsburger Patrizierfamilie Langenmantel vom Sparren. 1469 war Andreas Langenmantel mit seiner Gattin Ursula geb. Sulzer der Eigentümer und verkaufte die Liegenschaft an seinen Bruder.[1] Unter diesem wurde 1470 das Schloss als stattliches Herrenhaus erbaut. 1523 ging Guggenberg zu Lehen an den bischöflichen Rentmeister Wolfgang Schiegk, der es 1536 an das Augsburger Augustiner-Chorherrenstift St. Georg verkaufte. Von 1520 bis 1565 entstand die viereckige Hofanlage, wie sie heute noch existiert. Die Chorherren verbrachten von 1537 bis 1548 ihr Exil auf dem Schloss, da ihnen bereits 1534 durch den Augsburger Rat die katholische Religionsausübung verboten worden war.
Das Geschlecht derer von Bally betrieb im 18. Jahrhundert auf dem Gelände des Schlosses eine Baumwollspinnerei. Nach der Säkularisation war das Schloss im Besitz mehrerer adeliger Geschlechter, gegenwärtig der freiherrlichen Familie von Neubronner.
Schloss und Schlosspark sind der Öffentlichkeit nicht zugänglich.