בית הכנסת הוקם על ידי שמואל אבולעפיה, גזברו של פדרו הראשון, "האכזר", מלך קסטיליה (אנ'), בערך בשנת 1356, ותכנונו מיוחס לדון מאיר אבדלי. שמואל אבולעפיה היה בן למשפחה ששירתה את מלכי קסטיליה במשך כמה דורות וכללה מקובלים ותלמידי חכמים. בית הכנסת היה קשור לביתו של שמואל אבולעפיה על ידי שער פרטי והוא התכוון להשתמש בו כבית תפילה פרטי.[1] המלך פדרו נתן כנראה את הסכמתו לבניית בית הכנסת, כדי לפצות את יהודי טולדו על חורבן שאירע בשנת 1348, במהלך פוגרומיםאנטי-יהודיים שליוו את בואו של המוות השחור לטולדו. המייסד איבד בסופו של דבר את חסדו של המלך והוצא להורג בשנת 1360.
לאחר גירוש ספרד ב-1492 הבניין הפך לרכוש מסדר אבירי קאלאטראבה, שהפכו אותו לבית חולים והאולם הגדול לכנסייהנוצרית בשם סאן בנטיטו. מהמאה ה-16 המבנה היה לרכוש הצבא וב-1877 הוכרז אתר לאומי. מ-1964 המקום משמש כמוזיאון המוקדש לתרבות היהודית בספרד.
