המנזר הוקם בסוף המאה ה-17, על בסיס קירות תמך וביצורים שנבנו בתקופה המוסלמית המוקדמת בארץ ישראל, על ידי הפטריארכיה הארמנית, כדי שישמש מלון דרכים לעולי הרגל הארמנים המגיעים לארץ ישראל בדרכם לירושלים[3]. לאחר שנפוליאוןכבש את יפו ב-1799 פרצה בעיר מגפת דבר, והחולים מקרב חיילי הצבא הצרפתי רוכזו בבנין המנזר. השמועות על פרוץ המגפה התפשטו עד מהרה בקרב החיילים, וכדי לשמור על המשמעת בקרב גיסותיו ביקר נפוליאון במנזר. הוא ביקש להוכיח כי המצב נמצא תחת שליטה וכי אל לחיילים לחשוש מהדבר. נפוליאון נגע בחולים ולפי אחת הגרסאות אף סייע בפינוי גופתו של אחד מקורבנות המגפה, מעשים שבאותה עת היו כרוכים בסכנת מוות. ביקורו של נפוליאון במנזר הכה גלים לא רק בקרב החיילים אלא גם ברחבי אירופה[1].
מספר שבועות לאחר מכן, כששב נפוליאון ליפו לאחר שהובס בעכו, הורה לרופאו להוציא להורג את החיילים החולים במנזר בהמתת חסד[1]. הרופא סירב והשיבו "תפקידי לרפא, לא להמית", ולבסוף הוצאו החולים להורג בידי רוקח הצבא ורופא עות'מאני שבוי[דרוש מקור].
לפי המסורת, העניק נפוליאון את חרבו ואת אוהלו לראש המנזר כסמל להכרת התודה שלו. ומהאוהל הוכנו בגדים, הנשמרים בקתדרלת יעקב הקדוש בירושלים[1].
אמינותם של האירועים בתקופת כיבוש נפוליאון נתונה במחלוקת[1].
המבנה המשיך לשמש כמנזר ואכסניה. במהלך המאה ה-20 חלקו הוסב לדירות מגורים עבור חברי הקהילה הארמנית. בתחילת שנות ה-90 של המאה ה-20 החליטה הפטריארכיה הארמנית לשפץ ולהרחיב את המתחם[4]. כדי לממן את השיפוץ חתמה על הסכם עם יזמים שבנו במקום 22 יחידות דיור: שש מהן נתרו בשימוש הפטריארכיה והיתר נמכרו בחוזי חכירה ל-99 שנים. לשני אגפי הבניין נוסף אגף חדש, מאחורי המבנה הקיים. הכנסייה במתחם גם עברה שיפוץ מקיף באותה עת[5].
ציורו של גרו
לבקשת נפוליאון הונצח הביקור במנזר בציור משנת 1804 מעשה ידיו של הצייר אנטואן-ז'אן גרו, ששמו "בונפרטה מבקר את חולי הדבר ביפו" (אנ') (Bonaparte visitant les pestiférés de Jaffa). בציור נראה נפוליאון כשהוא ניצב גאה בין חייליו ונוגע בידו השמאלית בחזהו של אחד החולים. גרו לא ביקר מעולם מיפו ולכן צייר אותה ואת המנזר כפי שתיארם בדמיונו. ברקע הרחוק מתוארת יפו כעיר מזרחית שבתיה מטפסים במעלה גבעה, וברקע הקרוב נראות קשתות המנזר אותן עיצב גרו בסגנון מזרחי ומורי. הקשתות הן חלק מארקדה הסוגרת על חצר פנימית של המנזר. התמונה מוצגת במוזיאון הלובר בפריז[6].