הכנסייה הוקמה בשנת 1123 בשם "הקפלה של הצלב הקדוש" בקרבת מיקומה הנוכחי, אליו הועברה ב-1184. בזמן הרפורמציה הפכה הכנסייה לכנסייה של בית החולים הסמוך וקיבלה את שמו. סיומת שמה "הקטנה" באה להבחינה מהכנסייה הסמוכה - כנסיית סנט ברת'ולומיו הגדולה.
מגדל הכנסייה וקצהה המערבי נבנו במאה ה-15. שניים משלושת פעמוני הכנסייה ניצוקו בשנים 1380 ו-1420, והם ומנגנון הפעמונים המקורי (העתיק ביותר בסיטי) עדיין פועלים במגדל השעון של הכנסייה. פנים הכנסייה שופץ ב-1793 על ידי ג'ורג' דאנס הצעיר, ומבנה הכנסייה שופץ על ידי תומאס הארדוויק ב-1825. הארדוויק החליף את קורות הגג שהעלו רקב במהלך השנים בגג הנתמך בקורות ברזל.