הבית נבנה בשנת 1935, והוא מסמן את ראשיתה של הבנייה המודרנית והמתועשת בירושלים. המבנה תוכנן בידי האדריכלמאיר רובין, בסגנון הבינלאומי שרווח באותה עת בערי ארץ ישראל. הקבלן היה יוסף פפרמן, שעל שמו חילקה לימים עיריית ירושלים את פרס יוסף פפרמן על הצטיינות בתחום הבנייה בירושלים.[1] הבית מאופיין בקווים זורמים ופשוטים, מרפסות מעוגלות וחלונות פס אנכיים, הטיפוסיים לסגנון זה.
בעת בנייתו היה הבניין בית הדירות הגדול בירושלים, ודירותיו המרווחות יחסית יועדו לאוכלוסייה אמידה. שמו של הבניין ניתן לו כיוון שהיה בין הבניינים הראשונים בירושלים אשר הותקנו בהם מעליות.
החצר הפנימית של המתחם שימשה בעבר כגינה, והייתה פתוחה לכיוון רחוב ש"ץ ורחוב שמואל הנגיד. בתכנון המקורי, החצר הייתה אמורה לכלול, בנוסף לגינה, גם מגרש טניס לרווחת השכנים, אך תכנון זה לא יצא אל הפועל. במהלך השנים נבנה בית יהלום ומלון הנגיד בפתח לרחוב ש"ץ, והאדמה נסללה והפכה למגרש חנייה. בבניית בנין זה, נעשה מאמץ לאפשר למירב הדיירים לבנות סוכה במרפסת של ביתם. משום כך הבית נבנה באופן א-סימטרי. "מקווה", לטובת הדיירים, הוקם בבניין (מתחת לקומת הגג) אך מעולם לא חנכו אותו.
מאז בנייתו, הבניין משמש הן למגורים והן למשרדים. בבניין שכנו משרדי תנועת ברית שלום, והאקדמיה ללשון העברית[2] ששכנה בדירה של שלושה חדרים עד שנת 1959, עת עברה למבנה חדש בגבעת רם. באמצע שנות ה-50 עברה הוצאת קריית ספר לבניין[3].
מבית המעלות יצא דברה של אגודת "אל דמי" בשנות הארבעים שנוסדה כדי להתריע נגד "טרוריסטים יהודים".
בשנת 2020 שיקמה עיריית ירושלים את כיתוב האותיות המפורסם ״בית המעלות״ המופיע על החזית הדרומית-מזרחית של המבנה.