הגימנסיה נוסדה בימי העלייה השנייה בשנת 1909 בשם "הגימנסיה העברית בירושלים". בין מייסדיה נמנו בני הזוג ד"ר נפתלי וד"ר חנה וייץ, יהושע ברזילי (אייזנשטט), ד"ר יצחק לוי, מנהל האפ"ק בירושלים, אברהם סולומיאק, המתורגמן אצל הקונסול הרוסי, ואנשי העלייה השנייה מר יהודה הלב"ץ – הלביץ ורעייתו סוניה בת רבקה בהרב, חברי קבוצת "ירושלים החדשה" יצחק בן-צבי ורעייתו רחל ינאית, ואירה יאן. האחרונים גם שימשו בה מורים בשנותיה הראשונות. השמש של בית הספר ושומר על דגל הגימנסיה היה איש בשם שלמה (בפי יצחק בן-צבי "שלמה התימני").
הגימנסיה בירושלים נפתחה ביום ראשון י' טבת תרס"ט (2 בינואר 1909) בשכונת זיכרון משה[1], והמניעים להקמתה פורטו כעבור כחודש בעיתון "העולם":
יש כמה מאות של משפחות בירושלים, המעוניינת לתת חינוך הגון בבית ספר בינוני לילדיהן, ואין בירושלים כזה, לבד מן הסמינר ובית הספר למסחר לבנים של חברת "עזרה".
ההורים אינם רוצים להיפרד מילדיהם ולשלוח אותם ליפו, גם מימון נסיעותיהם ושהייתם ביפו מכביד מאוד על הדבר.
הדבר נחוץ לשם הגדלתו וביצורו של היישוב היהודי בירושלים.
שנים מוקדמות
אליעזר בן-יהודה נמנה עם מייסדי הגימנסיה ותמך בה במאמרים נלהבים בעיתונו "הצבי". הוא אף שלח את בנו אהוד בן יהודה להיות בין שבעת התלמידים הראשונים יחד עם ילדי וייץ ואירה יאן.
לעומתם קמו לה מתנגדים חריפים מכיוונים רבים. כך, מיום הקמתה ובמשך שנים ארוכות, נאלצה הגימנסיה העברית להיאבק על עצם קיומה. בני היישוב הישן, שהתקיימו על כספי החלוקה, חששו מהשתלטות ה"פרודוקטיבציה" על ילדי העיר,[דרוש מקור][מפני ש...] וראו בדאגה את העובדה כי זהו המוסד העברי הראשון שבו לומדים יחד בנים ובנות בכיתה אחת. הם פרסמו פאשקעווילים וזרקו אבנים על תלמידי הגימנסיה.
המתחרים בבתי הספר של "עזרה" ו"אליאנס" חששו גם מהתחרות החינוכית, וניסו לשכנע הורים לא לשלוח את ילדיהם ללמוד במוסד החינוכי של "הרוסים הסוציאליסטיים" שהגיעו זה מכבר אל העיר (עם אלו נמנו בפועל שניים ממורי בית הספר שהשתייכו לתנועת פועלי ציון). גם הממסד הציוני לא מיהר לתמוך במוסד.
בשנה הראשונה למדו במוסד בספירה הסופית 20 תלמידים בלבד, אך מספרם עלה בהרבה בשנת תר"ע (1910), והגיע ל-110 בשנת תרע"א (1911). עקב הגידול המהיר הלכו ורבו הוצאותיו של המוסד לתשלום של שכר המורים, לציוד ולדמי שכירות הדירה. נוסף על כך בית הספר קלט גם תלמידים לא מעטים שידם לא השיגה לשלם את שכר הלימוד כנדרש. בראשית 1911 נענה הוועד הפועל המצומצם לפניית "אגודת הגימנסיה העברית בירושלים" וקצב לה 1000 פרנק מכספי "קרן תרבות" שעמדה תחת הנהלתו.
החלטה זו עוררה ביקורת והתנגדות עזה מצד נציגי המזרחי: נאמנים לשיטתם סירבו להיות שותפים בעל כורחם "במימון ובמתן הכשר למוסד חינוכי, המלמד את המקרא ברוח ביקורת המדעית ואינו מקפיד על קיום מצוות הדת על ידי תלמידיו".
באותה שנה נקרא יהודה לייב מטמן-כהן, שניהל את גימנסיה הרצליה בתל אביב, לסייע לגימנסיה הירושלמית לעמוד על רגליה, ובמשך שנה ניהל את שני המוסדות. עקב אי-הסכמה על אופן ניהול העניינים שהנחיל, הודיע יצחק בן צבי במכתב אליו על דבר פרישתו מן ההוראה במוסד. כמו כן במהלך השנה הציע אחד החברים באגודת הגימנסיה, שהיה בעצמו נתין צרפתי, לאשר את הגימנסיה כמוסד צרפתי. לפני שעזב בחר מטמן כהן מקרב המורים את שלמה שילר, והוא נטל לידיו את ניהול הגימנסיה (אם כי הוא עצמו תיאר את פרישתו ככזו שהתקיימה יחד עם דו"ח האחרון שלו ביפו). שילר ומורי הגימנסיה נמנו עם ראשי הלוחמים ב"מלחמת השפות" שהחלה בירושלים.
במשך שלוש שנים נדדה הגימנסיה על מוריה ותלמידיה בין שלושה מבנים. האחרון שבהם היה ביתו של אחד ממיסדיה הד"ר אהרן מאיר מזי"א. מן ההתכתבויות לגביה בשנת 1913 עתידה הייתה להיבנות סופית בסמוך לאוניברסיטה העברית או אף להקדימה בשטח הזה.
עם פרוץ מלחמת העולם הראשונה הלך וקטן מספר תלמידיה, ועמד על כמה עשרות בודדות. השלטון העות'מאני בארץ ישראל החליט לסגור אותה, בהיותה תחת חסות צרפתית. אגודת המורים בראשות דוד ילין עמדה מנגד ולא חשה לסייע. דובריה אף החליטו כי אין לה זכות קיום ודינה להיסגר. שילר לא ויתר, ויחד עם צוות מורים עברו ללמוד באחד המבנים שהיו שייכים לבית הספר בצלאל שניהל בוריס שץ.
בסוף שנת הלימודים 1916 נאלצו התלמידים והמורים להתפנות גם מבצלאל, וקבוצה של 10 תלמידים עברה ללמוד כ"קבוצה ירושלמית" בגימנסיה הרצליה עד סיום המלחמה.
גימנסיה רחביה
ב-1919, עם תום מלחמת העולם הראשונה, פתחה הגימנסיה שוב את שעריה, לאחר שמצאה הרבה מן הציוד שהוחרם ממנה על ידי הטורקים בבית הספר ראשידיה הממוקם בסמיכות לשער שכם, דרשה להחזירו. תחילה ד"ר יוסף לוריא, מנהל מחלקת החינוך בוועד הצירים החליט על פתיחת 3 כיתות עליונות בבית דוד ילין ואחרי זמן קצר הועברה גימנסיה תחילה למבנה ברחוב החבשים ובהמשך ל"בית דוידוף" שבשכונת הבוכרים בירושלים. מספר תלמידיה הלך וגדל, עד שהיה המקום צר מלהכיל את כולם, וב-1929, עברה למבנה חדש בשכונת רחביה, שכונה חדשה שהוקמה באותם ימים. זהו המבנה שבו שוכנת הגימנסיה עד היום ברחוב קרן קיימת בירושלים, סמוך לבית המוסדות הלאומיים.
מיקומה בשכונת רחביה, שתושביה נמנו עם האליטה של ירושלים במחצית הראשונה של המאה ה-20, הקנה לגימנסיה מעמד יוקרתי. תלמידיה נחשבו בנים למשפחות מיוחסות, והחינוך בה נחשב לטוב ביותר בין התיכונים שהוקמו אחריה. בין מוריה ותלמידיה נמנו אז אנשי רוח ואנשי מעשה מפורסמים כמפורט למטה, ושמה נקרא בפי כל "גימנסיה רחביה".
במאורעות תרפ"ט שימש בניין הגימנסיה החדשך מקלט לתושבי השכונה, ובמלחמת השחרור פעלו במשרדיה כוחות ההגנה, ותלמידי הכיתות הגבוהות גויסו לשירות פעיל.
בשנת 1962 עברה הגימנסיה לבעלות עיריית ירושלים (לאחר שהתנהלה עד אז תחת חסותה של עמותה ציבורית), והיא נקראה תיכון עירוני א'. במתחם הגימנסיה פעל גם בית ספר יסודי של שמונה כיתות, והוא היה חלק ממערכת החינוך המקומית. רוב תלמידיו התקבלו ללמוד בכיתות התיכוניות. בשנות החמישים נקלטו בבית הספר ילדים פליטי שואה שעלו לארץ כיחידים וכבנים למשפחות עולים. עם המעבר לבעלות העירייה, בתחילת שנות השישים, החל בית הספר לקלוט יותר תלמידים מצטיינים, בנים לאוכלוסיות חלשות.
האינטגרציה
בשלהי שנות ה-60 החליטה ממשלת ישראל על הרפורמה בחינוך, שעיקרה היה הקמת חטיבת ביניים – בין בית הספר היסודי ובין התיכון. הרפורמה הזו גם חרתה על דגלה את האינטגרציה בין שכבות אוכלוסייה שונות של תלמידים.
הגימנסיה הייתה בין הראשונים שהחלו בתהליך, ומנהלה שמואל מיכאלי יזם בתחילת שנות ה-70 תוכניות חדשניות שהיו שלב מקדים לאינטגרציה ולרפורמה, והיו מודל לתהליכים דומים בבתי ספר אחרים. המהלך לא עבר בקלות, והורים שהתנגדו לו ניהלו מאבקים מתוקשרים שגרמו אף להתערבות משטרתית, עד שהתייצב המהלך כעבור עשר שנים.
שמואל מיכאלי היה גם המנהל הראשון בארץ שהנהיג בגימנסיה לימודים בשיטה של יחידות לימוד, משנת הלימודים ה'תשל"ד ואילך.
ב-1983 הועברו הכיתות היסודיות לבית הספר ע"ש פולה בן-גוריון בעמק המצלבה. בגימנסיה נותרו שתי החטיבות העליונות, ומתכונת זו נותרה בעינה.
המאה ה-21
בשנת 2009 ציין בית הספר 100 שנים להקמתו באירוע חגיגי שאליו הוזמנו בוגריו[2]. נכון ל-2010, הגימנסיה מונה כ-1000 תלמידים המגיעים אליה מכל רחבי ירושלים. היא נקראת הגימנסיה העברית בירושלים – ע"ש יצחק בן-צבי – בית ספר על-יסודי שש שנתי עירוני א'. פועלות בה חטיבת ביניים (כיתות ז'–ט') וחטיבה עליונה (כיתות י'–י"ב).
בשנת 2017 דורג במקום השני בדירוג התיכונים בירושלים, עם שיעור זכאות לבגרות של 99.14 אחוז, שיעור מצטיינים 8.62 אחוז ושיעור נשירה של 0.11 אחוז[3].
הצופים
ב-1937 מוסדה הפעילות הצופית בגימנסיה כאשר הוקם בה שבט מצדה, שבט הצופים הראשון שפעל בירושלים. הפעילות הצופית התנהלה תחת פיקוחה של הנהלת הגימנסיה שהעמידה בראש השבט את המורה דוד שטראי, ומורים אחרים שימשו כרש"גדים ומדריכים.
"הייתה הכרה ברורה כי שום חינוך בני נוער לא יצלח אם יסתיים אחר הצהריים. מוסד חינוך המעוניין בהצלחתו, חייב להקיף במידת האפשר את כל חייו של התלמיד" - כך הסביר הד"ר אברהם ברתנא, אז מורה, ולימים מנהל הגימנסיה[4].
הקשר הגיע לשיאו בשנות ה-40, עם הקמת צריף של השבט בחצר בית הספר ברחביה. הצריף שימש נקודת מפגש ומרכז לפעילות צופית לתלמידי הגימנסיה במשך עשרות שנים, עד שעברה ממנו הפעילות בשנת 1965 ל"בית פיליפס", ובשנת 1967 ל"בית נועה" - על שם חניכת השבט נועה טן-פי שנפטרה בנערותה (שני המבנים נבנו בעמק המצלבה), לשם מגיעים תלמידי הגימנסיה עד היום.
פרשת גבריאל תירוש
בשנות ה-60 פרסם הסופר יצחק שלו את הרומן "פרשת גבריאל תירוש". עלילת הספר נסובה סביב המורה להיסטוריה גבריאל תירוש וחמישה מתלמידיו, ההופכים לכיתה צבאית מאומנת המבצעת פעולות גרילה בפורעים ערביים, בתקופת מאורעות תרצ"ו בירושלים. שלו, שהיה תלמיד הגימנסיה העברית בפרוץ מאורעות תרצ"ו, ואחר כך מורה בה, שאב את הדמויות בעלילה מהיכרות אישית עם דמויות מקבילות שהכיר. כך למשל ד"ר רוזנבלום המנהל, הוא בן דמותו של ד"ר מוהליבר מנהל הגימנסיה בתקופת לימודיו.