בית הספר נפתח בשנת 1866 במטרה להיות תלמוד תורה משותף לאשכנזים וספרדים שיילמד בנוסף ללימודי קודש גם לימודים אשר יאפשרו לבוגריו להתפרנס (כלומר בעיקר את "שפת המדינה" כלומר ערבית וחשבון). לא היה זה הניסיון הראשון למוסד כזה, קדם לו בכעשר שנים בית הספר למל, אך הוא נתקל בהתנגדות קשה וכאשר נפתח "דורש ציון" נחשב כמוסד העומד בפני סגירה.
וכתבתי להחכם מורנו הרב יצחק פראג נ"י, שישכור בית אחד או שני בתים ויושיב בהם מלמדי תינוקות: באחד ילמדו בני האשכנזים תנ"ך ומשנה וגמרא בלשון אשכנז (גרמנית) זך ונקי, לא בלשון מבולבל בלתי מובן לכל העולם (יידיש), ובשני ילמדו בני הספרדים כנזכר בלשון ערבי או ספניש (ספרדית) ורק זך ונקי (לא לדינו).
ר' יצחק פראג (אופלטקה) צירף אליו את חבריו ר' יונה ליב מנדלסון ור' משה אהרן קרמזיר (בוימגארטן), מישיבת החתם סופר, ואת הרב דוד בן שמעון (הצו"ף דבש) ראש עדת המערביים. הם עזרו לו בארגון המוסד ואחר כך גם הורו בו. נוסף עליהם מינה ר' יצחק את טובי המורים והמחנכים להוראה במוסד, ולתלמידים בני העניים נתנו בו אף ארוחות צהרים וערב והלבשה.
בציבור האשכנזי ראו בפתיחת בית הספר אסון ואף כתבו והחתימו כתב חרם נגד בית המדרש, אך ללא החתימות של ראשי הציבור האשכנזי. הקיצונים, לדברי פנחס גרייבסקי, "העמידו אצל דלתות ביתו (של ר' יצחק פראג) את מיטת המתים (של החברה קדישא)"[1]. שיטה זו, של העמדת מיטת מת ליד דלת אדם סימלה חרם על אותו אדם והרמז היה גלוי לציבור.
ויהי בלילה הזה יצאו העכברים מחוריהם, ולעטלפים היה אור, ויסובו ויהמו בעיר, ותקעו והריעו בשופרות, והלכו ועמדו תחת חלוני בית הרב אויערבאך (הרב מאיר אויערבאך - רבה האשכנזי של ירושלים), ושם תקעו תקיעה גדולה, ויקללו קללות נמרצות. ויהי בבקר וילכו שני האחים (המסיתים נגד המוסד) לבית הספר הזה, ויחלו להכות בילדים ובמלמדיהם. והרב פראג ציוה להילדים שישיבו אל חיק מכיהם גמולם בראשם, וירימו איש איש אבן ומקל יד, ויבריחו את שני זנבות האודים האלה, והילדים ניצלו מידם.
אך ר' יצחק עצמו נפגע מהפורעים, כעדותו בספר חידושיו פרי יצחק - "רק שבעו"ה זדים קמו עלי והזיקו אותי". כתוצאה מהחרם הפסיקו כמעט אשכנזים לשלוח את ילדיהם למוסד, ופרט למספר יתומים הכיל המוסד בני ספרדים בלבד. כמו כן הופסק לימוד "שפת המדינה". בלומנטל הקציב סכום עבור לבוש ומזון ליתומים. הוא גם הדגיש שאין להכות ולהעניש את הילדים בעונשים משפילים, כפי שהיה נהוג בתלמודי התורה הספרדים והאשכנזים.
בשנת 1878 מנה בית הספר 58 תלמידים, ובשנת 1889 היו בו 87 תלמידים בשש כיתות, בחמש למדו בלאדינו, ובאחת למדו בערבית, עבור התלמידים מעדת המערביים (מוגרבים, יוצאי צפון אפריקה) בתמיכת ועד העדה המערבית בירושלים. תוכנית הלימודים הורכבה מלימודי קודש: תלמוד, תנ"ך, דינים ושולחן ערוך ולימודים כלליים, עברית, כתיבה תמה, חשבון, ערבית ("שפת הארץ") וטורקית ("שפת הממשלה"). הלימודים נמשכו 12 שעות ביום ובחורף יצאו הילדים מבית הספר ונרות בידיהם. גם בחגים ובשבתות לא בטלו מלימוד לימודי קודש ותפילה בבית הכנסת המרכזי של העדה, בית הכנסת יוחנן בן זכאי. הביקוש היה רב והמוסד התרחב ושכר עוד מבנה בסמוך לכיכר בתי מחסה, בסימטה המחברת לבית הכנסת יוחנן בן זכאי.
"ראש המורים" היה ר' יוסף חיים אופלטקא, שאף ניהל את ביהמ"ד מאז מות אביו. אחריו, מאז 1907, הטביע חותם על הלימודים במוסד, ובפרט על לימודי העברית, יצחק ישראל שיריזלי, בן-דודו של המדפיסשלמה ישראל שיריזלי (שי"ש), שהוציא לאור, בין היתר, את כתבי אליעזר בן-יהודה. בתקופתו נוספו לתוכנית הלימודים למודי טבע, תולדות עם ישראל וכן מקצועות מעשיים כגון שחיטה וחזנות.
בשנת 1929 עבר בית הספר למבנה ששימש את בית המדרש למורים בשכונת זיכרון משה ליד מבנה בית הספר "למל" (ברחוב ישעיהו). בשנת 1940 למדו בבית הספר 350 תלמידים והוא כלל גם שתי כיתות תיכון, הוקם גם בית ספר לבנות בשם "מרגליות".
ב-1951 הפך בית הספר לבית ספר ממלכתי-דתי רגיל, כעבור כעשרים שנה נסגר מחוסר ביקוש. המבנה משמש כיום ישיבה חרדית.
