הקרקע שעליה נבנתה השכונה נרכשה בעסקה סיבובית מאת המסדר הנוצרי הישועי בירושלים. כמתווכים בין בעלי הקרקע הנוצרים לבין הרוכשים היהודים שימשו הסוחרים הערבים ג'וזף פסקל אלבינה וחאטשה קאנקאשיאן. בין הרוכשים היהודים בלט בעיקר הסוחר הירושלמי ראובן זילברשטיין, שלאחר רכישת הקרקע חילק את השטח למגרשים ומכר אותם לאישים ולמשפחות שונות. בין בוני הבתים הראשונים בשכונה נמנו עמינדב קרלין, זאב זילברשטיין וולטר כץ, ומעט מאוחר יותר גם בנה את ביתו בשכונה גם ראובן זילברשטיין עצמו, ברח' הפלמ"ח של ימינו.
במהלך מלחמת העצמאות נקלעה שכונת מרחביה לקו האש, ומשך תקופה ארוכה הומטרה על בתי השכונה אש מכיוון העמדות הערביות בשכונת קטמון, סביב מנזר סן סימון.
לאחר מלחמת העצמאות הפכה מרחביה לחלק מגוש השכונות היהודיות המרכיבות את לִבה של ירושלים המערבית, בהן רחביה, טלביה, קטמון וקריית שמואל. בתוך כך הלכה ואיבדה מרחביה את אופייה הייחודי, ועל פי רוב היא נחשבת כיום לחלק אינטגרלי משכונת קריית שמואל.
