Aastrup omtales først i midten af det 16. århundrede som Erik Krabbes ejendom. Frem til 1664 tilhørte godset forskellige adelsfamilier, men her overgik det til ikke-adelige personer.
I 1842 blev det købt af Frederik 6.'s søn Frederik Vilhelm Dannemand. Han udbyggede Aastrup kraftigt og besluttede, at herregården skulle overgå til en stiftelse, da han ikke havde nogen børn. Derfor oprettede han i 1857 "Det Grevelige Dannemandske Stift Aastrup", der skulle fungere som jomfrukloster – dvs. som bolig for ugifte kvinder af Dannemands slægt. Således blev herregården i 1886 ved Dannemands død jomfrukloster, og var det frem til en ændring af stiftelsens fundats i 1988.