נולד בבגדאד שבעיראק ליוסף אליהו ותופחה, משפחה יהודית אמידה וקיבל חינוך תורני מצומצם. מסופר כי בשל כשרונותיו ייעדה אותו משפחתו ללמוד באוניברסיטת אוקספורד, והוא כבר התקבל לשם, אולם עוד קודם שנסע נכנס פעם במקרה לבית המדרש בית זילכה והחליט שהוא מעדיף ללמוד תורה, בניגוד לרצון משפחתו.
לאחר שלחץ משפחתו גבר, יעץ לו רבי יוסף חיים לעלות ארצה. ואכן, כמה שנים לאחר פטירת הבן איש חי, עלה ארצה, בחנוכה של שנת תרע"ח (1919). כאשר עלה ארצה התמנה לזמן קצר למזכירו היהודי של הנציב העליוןסרהרברט סמואל, וזאת בשל העובדה ששלט היטב באנגלית.
רבי יעקב חיים סופר למד עם רבי סלמאן בישיבת המקובלים רחובות הנהר, תחת הנהגתו של רבי חיים שאול הכהן דוויק, ולאחר פטירתו החליפו בהנהגת הישיבה. בין תלמידיו היה רבי יצחק כדורי.
