בשנת 1909עלה לארץ ישראל והחל לחנך ילדים ביפו להכרת ואהבת הטבע, מתוך הכרה כי זהו צורך חיוני לחיזוק הנוער לשורשיו בארץ. בארץ הצטרף ל"הפועל הצעיר".
כדי להשלים את השכלתו בהוראה, חזר ערב מלחמת העולם הראשונה לקייב, ולמד שם בפקולטה למדעי הטבע באוניברסיטה. במקביל היה מורה לטבע בבית הספר של "תרבות" בעיר, שבו לימדו בשפה העברית. בעקבות המהפכה נמסר בית הספר לפיקוח היבסקציה, וב-1920 עבר מרגולין לווילנה, שם היה מנהל בית ספר עברי.
בשנת 1923 חזר לארץ ישראל ונתקבל כמורה לטבע ב"מקוה ישראל". מרגולין דגל בשיטה חדשה ומהפכנית דאז בלימודי הטבע: הוא גרס כי בוטניקה וזואולוגיה יש ללמוד בטבע מחוץ לכיתה למרות קיומם של ספרי לימוד בנושא. הוא הפך למורה נודד בין בתי ספר עם תרמיל על השכם ולימוד תחת כיפת השמיים.
מרגולין חיבר ספרים רבים בהוראת טבע, רשימות, סיפורים ושירים לילדים בנושאי טבע. הוא היה ערירי וראה בכל הילדים הבאים להדרכתו בתור בניו. אצל הילדים הוא היה ידוע בשם "הדוד יהושע".
למרגולין הייתה זיקה חזקה לקיבוצים ולהתיישבות העובדת, שבהם ראה את התגשמות החזון של זיקת העם לאדמתו. הוא חלם על הקמת סמינר להכשרת מורים במדעי הטבע, המדע והאמנות. התוכניות להקמת הסמינר החלו להתגשם ונרכש שטח להקמתו אולם מרגולין לא זכה לכך. בצוואתו ביקש להיקבר בשטח הסמינר. ביום השלושים למותו הונחה אבן הפינה לסמינר אורנים (כיום מכללת אורנים).
קברו של מרגולין נמצא בגן הבוטני של מכללת אורנים, ועל מצבתו חקוקות מילותיו: "את רעבוני וצמאוני לאדמת ישראל לא אשבור ולא ארווה עד אשר אשוב אליה ואנוח בחיקה מנוחת עולמים".
במכללת אורנים נמצא "בית המדעים על שם מרגולין" להוראת טבע ומדע, ובו חלק מאוסף הפוחלצים של מרגולין וארכיונו.