על פי המסורת, לאחר שירושלים נכבשה על ידי המוסלמים הוזמן הח'ליףעומר בן אל-ח'טאב על ידי הפטריארךסופרוניוס לבקר בכנסיית הקבר הקדוש. על פי מסורת זו, כשהגיע זמן התפילה הציע הפטריארך לח'ליף להתפלל בכנסייה, אולם הח'ליף סירב, כדי שהמקום לא יהפוך למקום קדוש גם למוסלמים, ויפתח פתח לסכסוכים ומלחמות על המקום, ויצא להתפלל מחוץ לכנסייה.[1] באותה תקופה הייתה הכניסה אל הכנסייה מצד מזרח. ואמנם, קיימת סברה כי מסגד עומר הראשון הוקם במקום בו התפלל הח'ליף, דהיינו ממזרח לכנסיית הקבר.
המסגד הנוכחי הוקם בשנת 1193 על ידי הסולטאן אל-מליכ אל-אפד'ל עלי, בנו של צלאח א-דין, על יסודותיו של בית חולים צלבני,[2] כדי להנציח את תפילת הח'ליף עומר. המסגד נמצא ממול (מדרום) לכניסה הנוכחית של כנסיית הקבר. צריח המסגד חודש לאחרונה בשנת 1458 לאחר רעידת אדמה שפקדה את העיר.
אין לבלבל את המסגד הזה עם כיפת הסלע המצויה על הר הבית וקרויה על ידי רבים בטעות בשם "מסגד עומר". עומר אמנם בנה על הר הבית מסגד, אך לא הייתה זו כיפת הסלע, אלא מסגד אל-אקצא, שהיה אך מבנה דל עשוי עץ, שלאחר כ-60 שנה הוחלף במבנה גדול ומפואר. (הערה: אחד מהאגפים במבנה מסגד אל-אקצא נושא אף הוא את השם "מסגד עומר").
