בשנת תרצ"ו (1936) ייסד דודו, הרב אברהם ישעיהו קרליץ ("החזון איש"), כולל אברכים. הכולל, "עטרת יוסף", פעל תחילה בבני ברק וכעבור זמן הועתק לתל אביב. בשנות ה-40 נקרא הרב שמריהו יוסף קרליץ על ידי החזון איש לייסד מחדש את כולל האברכים בבני ברק, במקביל לפעילות כולל "עטרת יוסף" בתל אביב. הוא נענה לבקשה, ולשם כך נסע לארצות הברית ושהה שם במשך מספר שנים לצורך גיוס משאבים להקמת הכולל. כמו כן פעל לגיוס מימון לבניית דירות מגורים לאברכי הכולל, לימים שיכון חזון איש.
כששב הרב שמריהו יוסף קרליץ מארצות הברית פעל להקמת המבנה של הכולל. הוא עמד בראשו וניהל אותו במשך מספר שנים. הוא הוציא את הקובץ התורני "שימוש חכמים", שבו קובצו חידושי תורה של חברי הכולל. במקביל שימש כר"מ בישיבת תפארת ציון.
בשנת תשי"ד (1953) נפטר החזון איש, ובעקבות זאת הוסב שם הכולל על שמו - "כולל חזון איש". שנה לאחר מכן נפטר אביו, הרב מאיר קרליץ. זמן קצר לאחר מכן החליט לפרוש מראשות הכולל. תחתיו התמנה הרב נחום מאיר קרליץ.
בשנת תשט"ז (1956) יצא לשליחויות רבניות במספר מדינות, ובהן: ארצות הברית, קנדה, ונצואלה, ברזיל ובלגיה, שבה כיהן כרבה הראשי של בריסל[1][2]. הוא כיהן בהן כרב בפרקי זמן שונים, ובסך הכול נמשכה תקופת רבנותו בחו"ל ארבעים וחמש שנה.
נפטר בארצות הברית בשנת תשס"א. ארונו הובא לישראל, והלווייתו יצאה מכולל חזון איש. נקבר בבית הקברות שומרי שבת בבני ברק.
משפחתו
בשנת תשי"ג (1953) נישא למאשה, בתו של הרב שמואל וינטרוב, רבו בישיבת נובהרדוק בפינסק, שנפטר תשע שנים לפני כן, בשנת תש"ב (1942). שנה לפני פטירתו עמד הרב וינטרוב[דרושה הבהרה] בנשיאות כולל "עטרת יוסף" שייסד החזון איש ואשר הועבר לתל אביב. הרב קרליץ שימש גם כחבר הנהלת כולל "עטרת יוסף" בתל אביב.
בניו: הרבנים שמואל ואיסר קרליץ. בנו, מאיר, נפטר בצעירותו.