לאחר נישואיו עסק בהפצת תורה ובארגון שיעורי תורה לבעלי בתים בירושלים. בשנות ה-30 וה-40 כיהן כרב בבתי כנסת שונים בירושלים, ובהם בית הכנסת זהרי חמה.[2]
מודעה של ישיבת מירון בעיתון הצופה, על שיעורו של הרב ברגמן ביום ראש השנה תש"כ לפני התקיעות
בשנת תרצ"ח (1938) התמנה ל"שומר תקנות" של החברה קדישא הכללית של "כוללות האשכנזים" בירושלים. בתפקיד זה, נשא קודם לכן רבי דוד בהר"ן, ומשהזקין נתמנה על מקומו רבי משה, כחבר החברא קדישא וכירושלמי מדורי דורות[3]. בעקבות זאת פרסם, בשנת תש"א, את ספרו "זיבולא בתרייתא", העוסק בדיני קבורה לפי מנהג ירושלים. הספר זכה להסכמתם של רבני ירושלים, ובהם הרב שמשון אהרון פולנסקי והרב זליג ראובן בנגיס.
בשנות ה-50 התמסר ללימוד תורת הקבלה ולשם כך התיישב במירון ואז נרתם לשיקומה של הישיבה החדשה במקום, כשהוא עובר בין המעברות וישובי העולים ומזמין אותם ללמוד בישיבתו[4]. היה מספק לתלמידיו לינה ומזון ודואג ליתומים ולמעוטי היכולת[5]. כשרבו התלמידים, פנה אל הגבאים של "ישיבת בר יוחאי" העתיקה, וביקש מהם לאפשר לו לשפץ את חורבות בניין הישיבה לצורך הרחבתה, ובהסכמתם חידש את הבניין שנהרס רובו ככולו בידי הערבים, לפני קום המדינה, ובנה את הבניין מהמסד ועד הטפחות.[6] רבי משה סיפק לתלמידיו מקומות לינה ושלוש סעודות בכל יום, למען ישבו וילמדו תורה בשקידה באין מפריע. משנודע לו כי ישנם תלמידים בישיבה אשר יתומים מאב או מאם, החל לדאוג גם לצורכי הלבשת התלמידים וסיפק כל מחסורם. כדי לאפשר לתלמידים, אשר יד הוריהם לא הייתה משגת כדי לתמוך בהם בעתיד, דאגה הנהלת הישיבה להנהיג בין כתליה שיעורים במלאכת השחיטה והסופרות, וכן חייטות, פקידות, תיקון חשמל וטבחות[7]. לאחר שבשנת תשכ"ז השתנו צורכי האזור ודרישות התלמידים, ובהתאם גם הישיבה שינתה את פניה והפכה להיות ישיבה טכנולוגית, ומגמות הלימוד היו מסגרות ומכונאות רכב, עזב הרב ברגמן את הכפר ועבר להתגורר בבני ברק, בה הקים את ישיבתו, ישיבת רשב"י.
