1279 plünderten die Giengener das Stift, 1449 erfolgte eine neuerliche Plünderung von Kloster und Dorf Herbrechtingen. 1472 erfolgte der Neubau des Propsteigebäudes.
Um 1520 verfiel allmählich die Klosterzucht, die Pröpste von Ulm und Augsburg bemühten sich erfolglos um eine Reform.
Nach Aufhebung des Interims 1552 setzte Herzog Christoph einen evangelischen Prälaten ein und ließ den Besitz durch ein Klosterstabsamt verwalten. Es wurde in ein evangelisches Klosteramt umgewandelt. 1741–1749 amtierte hier Johann Albrecht Bengel. 1636 nochmals von Mönchen besetzt, kam das Stift endgültig 1648 an Württemberg.
1666 wurde auf den Grundmauern des Augustinerkonventes von 1200 der Fruchtkasten in Fachwerkbauweise neu errichtet. In der Folge errichtete man einige Gebäude neu oder renovierte sie teilweise.
Ab 1807 standen die Klostergebäude leer; 1830 verkaufte man das Kloster an Ludwig von Hartmann, der die Konventflügel abreißen ließ und in den restlichen Gebäuden eine moderne Spinnerei einrichtete.
1931 erfolgte die Auflösung der Spinnerei Hartmann; 1932 der Verkauf des ehemaligen Klosterbesitzes an Otto Merz, Mössingen.
1944 wurde im Vorbau ein KLV-Lager (Kinderlandverschickung aus bombengefährdeten Städten) eingerichtet.
1993 erwarb die Stadt Herbrechtingen das ehemalige Kloster und entwickelte Pläne für das Projekt Kulturzentrum Kloster, dessen Bau im Juni 1997 begann und das am 13. September 2002 eingeweiht wurde.
Das ehemalige Kloster ist seit 1997 eine Sehenswürdigkeit an der Straße der Staufer.[1]
