לאחר סיום לימודיו החל לעסוק בהוראת היסטוריה גאוגרפיה ומקצועות נוספים בבתי ספר תיכוניים בווירבלן ובשאוולי (בגימנסיה על שם ביאליק). בד בבד עם עבודתו החינוכית החל להיות פעיל בצעירי ציון ובמפלגה הציונית-סוציאליסטית. הוא נשא את שרה קליין, והיה אב למרדכי ויוסף. הוא האמין בתחיית הלשון העברית ושמר עליה במשפחתו, גם בתקופת השלטון הסובייטי ובגטו.
ב-1941 נשלח לגטו שאוולי והתמנה כמנהל בית הספר שהתנהל בחשאי במרפסת ששימשה גם כמקום בית הכנסת. בגטו עבד בבוקר כסנדלר, אחר כך עסק בחינוך ולעת לילה בכתיבת יומן ובאיסוף מסמכים היסטוריים. ארכיון זה תפח לכדי אלפי מסמכים שהוחרמו, בעקבות הלשנה, לידי השלטונות הסובייטים לאחר מלחמת העולם השנייה וממנו ניצל רק "פנקס שאבלי", שפרסם לימים בשנת תשי"ח.
ב-1944 נמלט מן הגטו, הצטרף לפרטיזנים. לאחר שחרור האזור על ידי הצבא האדום – התגייס לשורותיו, בו שירת זמן מה ולאחר-מכן הגיע לווילנה. בווילנה הקים בית ספר יהודי שכלל גם פנימייה עבור ילדים יהודים שנותרו אחרי המלחמה בחוסר כול. ב-1945 עבר ללודז', ועם תנועת הבריחה עבר לאיטליה. ברומא ניהל את המחלקה לתרבות וחינוך של מרכז ארגון הפליטים, לימד ספרות עברית בבית המדרש לרבנים וכמנהל המחלקה לחינוך היה בין מקימי רשת בתי ספר עבריים, בתי הבראה לילדים וארגון קורסים להשתלמות מורים והדרכתם. היה חבר מערכת הירחון הספרותי "אין גאנג", עורך הקובץ העברי "ניר", השתתף בעיתון "בדרך", וכתב ליומון היידי הניו-יורקי "פאָרווערטס" ולעיתונים יידיים נוספים.
בפברואר 1949, לאחר קום המדינה, הגשים את שאיפתו הציונית, עלה לישראל והשתקע בחיפה. בחיפה הקים את "בית חינוך תיכון לילדי עובדים"[1], שנוהל בידי קואופרטיב מורים והשתייך לזרם העובדים, וסמינר למורים של זרם העובדים (לימים מכללת גורדון), וניהל אותם שנים אחדות. לאחר מכן המשיך את עבודתו בהוראה בבית חינוך תיכון כמורה להיסטוריה, גאוגרפיה וסוציולוגיה. כן המשיך בחיפה את פעילותו הציבורית והיה חבר הוועד המקומי של הסתדרות המורים ומרכז ועדת התרבות. אחר-כך היה ממייסדי ארגון המורים של בתי הספר התיכוניים, חבר מרכז ההנהלה ועורך העיתון של ארגון "מעלות".
כניצול שואה עזר רבות לארכוב המידע ביד ושם על התקופה בליטא, ובעזרת ניסיונו בהוראה היה חבר ועדה שתפקידה היה להכין תוכנית של הוראת השואה בבתי הספר.
בשנת 1957 זכה בפרס הקונגרס היהודי על ספרו "מיערות הצפון עד חורשות הכרמל", עוד בטרם הופעתו[2].
כרך א: ילדי השואה; עם דברי מבוא מאת א' טרטקובר, חיפה: יובל, תשכ"ג.
כרך ב: מחזיונות הגיטו: סיפורים ומחזות, אישים; עם דברי פתיחה, מאת ש' שלום, חיפה: ממעמקים, תשכ"ד.
באהלי ספרות; הכתבים הובאו לדפוס על ידי שרה ירושלמי, רעית המחבר, ונערכו על ידי ש' שלום, תל אביב: ממעמקים; מחברות לספרות, תשכ"ו. (אוסף מאמרים בענייני ספרות)
Elieser Jeruschalmi, Das jüdische Märtyrerkind: nach Tagebuchaufzeichnungen aus dem Ghetto von Schaulen, 1941-44` Übersetzung aus dem Hebräischen von Mirjam Singer; Zeichnungen von Abram Ameraut, Darmstadt-Eberstadt: Ökumenische Marienschwesternschaft, 1960. (בגרמנית)
Elieser Jerusjalmi, Een ster voor Moisjele: van hel tot hel in nazi-tijd; vertaling, C. de Dood, Amsterdam: Wereldbibiotheek, 1961. (בהולנדית)
Elieser Jeruschalmi, Das jüdische Märtyrerkind, Wuppertal-Barmen: Kiefel (Die Brücke: kleine Geschenkbuchreihe) 1962. (בגרמנית)
Es ist späte Zeit für dich geworden-Israel, Wuppertal-Barmen: J. Kiefel, 1963. (בגרמנית)
בעריכתו
15 מחזות; ליקטו וערכו ז’קו ירון ואליעזר ירושלמי, תל אביב: מחלקת החינוך של הקיבוץ הארצי – מדור חברות הילדים הצעירות, תשט"ז 1956. (לכיתות ד–ו)
אליעזר ירושלמי... [ועוד] (רעדאָקטאָרן), פנקס נובוגרודק, תל אביב: הוצא לאור על ידי רליף-קאמיטט ע"ש אלכסנדר הרכבי בארצות הברית וע"י ארגון יוצאי נאוואהרדק בישראל (דפוס אחדות), 1963. (ספר יזכור לקהילות נובוגרודק)
^שמו המקובל היה "בית חינוך תיכון", אך כינויו בפי כל היה "תיכון חדש", כשם בית הספר שפעל בו בשעות הערב. למרות שמו הרשמי, ובשל רמתו הגבוהה, למדו בו בעיקר תלמידים משכבות סוציו-אקונומיות ממוצעות ומעלה.
