Fondée vers 1160 par Bernard Ier, évêque de Nantes (mort le ), à partir de l'établissement de six religieux sur place en 1147. Elle est reconnue comme abbaye du fait de l'importance de ses revenus dans une bulle pontificale d'Alexandre III de 1163. Le nécrologue de l'abbaye fournit les dates de décès de nombreux abbés sans toutefois toujours préciser les années de leur mort.
En 1521 est élu le 1erabbé commendataire Michel de Coëtlogon qui n'obtient confirmation de son abbatiat qu'en 1533, après une longue procédure contre François de Sacré, candidat du roi de France. Les abbés commendataires se succèdent ensuite jusqu'à 1790 dont l'architectePhilibert Delorme protégé de roi Henri II de France et Louis-Malo Moreau de Maupertuis de Saint-Hélier, frère du scientifique malouin Pierre Louis Moreau de Maupertuis.
Les abbés Louis de Mars et Sébastien-Joseph du Cambout tentent cependant de réformer le monastère. Le second signe même en 1656 un accord avec la Congrégation de Saint-Geneviève de Paris. Néanmoins en 1750 le chapitre de chanoines ne se compose que de trois prêtres et en 1783 le clocher est foudroyé et un seul prêtre assure les offices. La Révolution française épargne l'église abbatiale, qui, trop vétuste, doit cependant être démolie en 1874 et remplacée par l'église paroissiale actuelle. Seuls quelques vestiges et une maison particulière rappellent les vastes bâtiments de l'ancienne abbaye.
Les Abbayes Bretonnes ouvrage collectif. Biennale des Abbayes Bretonnes Le Sarment Fayrd (ISBN9782213013138). Pierre Fréor « Sainte Madeleine de Géneston » p. 279-282