השכונה הוקמה בשנת 1955, על ידי הפועל המזרחי וחברת משכנות, על אדמות שנתרמו לקק"ל על ידי מרדכי (מקסוול) אַבֶּל (Abbell; 1902–1957), עורך דין ורואה חשבון, איל נדל"ן ופעיל חברתי יהודי-אמריקאי משיקגו, ממייסדי המזרחי בארצות הברית[1][2], ועל שמו נקראה השכונה. בשלב ראשון נבנו בשכונה 100 יחידות דיור, והוא תוכנן לכלול 400 יחידות דיור[3]. בשנת 1970 כבר היו בשכונה 400 יחידות דיור ובשלבי בנייה היו עוד 130 דירות[4].
היום הראשון של מלחמת ששת הימים החל בהפגזה כבדה של הצבא הירדני על מערב העיר. גם שכונת גבעת מרדכי ספגה פגזים רבים. מפגיעת אחד מהם נהרגו בסמוך לבית הכנסת שני נערים תושבי השכונה: אברהם איפרגן[5] ויצחק מנסור[6].
בגבעת מרדכי מתגוררים (לרוב בשכירות קצרת טווח) זוגות צעירים וסטודנטים רבים, בגלל אופייה הדתי וקרבתה למוסדות לימוד אקדמיים דוגמת המרכז האקדמי לב, מכללה ירושלים, המכללה האקדמית להנדסה ירושלים, וקמפוס גבעת רם של האוניברסיטה העברית. חלק גדול מהמבנים בשכונה הם בניני דירות בעלי למעלה מחמש קומות. רובם המוחלט בנויים על פי אותם עקרונות ארכיטקטוריים (ונבנו, כך על פי וותיקי השכונה, "בשיטת העתק הדבק"). בניינים אלה מצטיינים בחסכון בשטח ובאנרגיה, ונחשבים פחות נוחים עבור משפחות דתיות, בשל העובדה שאין בהם מקום לבניית סוכות. מתנגדיו של ראש העירטדי קולק טענו שהוא קידם בניית מבנים בארכיטקטורה המסוימת הזו כדי לנסות ולמשוך אוכלוסייה חילונית לירושלים ולהצר את צעדיה של ישיבת חברון כנסת ישראל. ערכה הנדל"ני של השכונה עלה משמעותית עם סלילת כביש בגין ופתיחת הכניסה המערבית לקמפוס גבעת רם הסמוכים לשכונה.
בשכונה פועל סניף של תנועת הנוערעזרא, הנקרא בפי הנוער "גיגי". במרכז השכונה מצוי מרכז מסחרי קטן. בשכונה מספר גדול של בתי כנסת, ביניהם "שיף שול", הקרוי של שם בית כנסת בווינה, ושקהילתו משתדלת לשמור על מנהגי הקהילה הווינאית, בית הכנסת החסידי ציוני "פיינשטוב", ובית כנסת המשמש גם כבית חב"ד. בית כנסת נוסף נקרא חניכי הישיבות - "אהל דוד" הוא כעין ה"שטיבלך" של השכונה.
בשכונה 4 גני משחקים. אחד מהם הוא גן משחקים שבעבר הכיל מתקן שהיה בנוי מפירמידה של ארבעה כדורים, קוטרו של כל אחד כשני מטרים, ומגלשות, ונקרא "גן הכדורים". המתקן נשרף, אך שמו של הגן נותר על כנו, אף על פי שכיום נמצא במקום מתקן קונבנציונלי יותר. בגבולה של השכונה עם שכונת בית וגן שוכן קמפוס הגברים של בית הספר הגבוה לטכנולוגיה בירושלים, ובתוכו הישיבה התיכונית תורה ומדע.
בקרבת השכונה
בסמוך לשכונה, על גבול עמק הצבאים וכביש בגין, שכן יישוב ביזנטי ומוסלמי קדום המכונה חוות הוזיר (קעאד אל-וזיר), ובו נמצאו מבנים, גתות, מתקנים חקלאיים נוספים ומערות קבורה. בשנות ה-20 של המאה ה-20 התיישב הנזיר ויקנדיוס מהפטריארכיה היוונית-אורתודוקסית של ירושלים בשטח שבין גבעת מרדכי לרמת בית הכרם של היום. הנזיר נהרג ב-1948 מההפגזות על העיר. תושבי האזור כינו את החורשה שהייתה במקום (כיום בדרום שכונת רמת בית הכרם) "חורשת הנזיר" או "חורשת הווזיר"[8].
למרגלות השכונה מצוי הפסל "מעלות", הידוע יותר בשמו העממי "סולם יעקב", של הפסלעזרא אוריון. הפסל עצמו העדיף שלא לכנותו בשם, כדי לתת לצופה אפשרות לפרש את המראה כרצונו.
