בראשיתה נקראה "המקהלה הקאמרית תל אביב". היא מנתה אז כ-60 חברים, כולם, או רובם הגדול, עולים מארצות דוברות גרמנית, שעלו ארצה באמצע שנות ה-30' עם עליית היטלר לשלטון בגרמניה. איתן לוסטיג, שעלה ארצה מצ'כוסלובקיה, ניצח על הקונצרט הראשון שנערך בפברואר שנת 1941 בתל אביב.[1]
באמצע שנות ה-60' החליף את איתן לוסטיג המנצח הצעיר יוסף פרידלנד, יליד דרום אפריקה.
עד סוף שנות ה-60' התקיימו חזרות המקהלה באולם ההתעמלות של בית הספר לבנים "ביל"ו" בשדרות רוטשילד בתל אביב. בשנים אלה גדלה המקהלה לכ-100 חברים, שמה שונה לשם הנוכחי ואתר החזרות עבר תחילה לבניין מרכז הקואופרציה ברחוב הארבעה וכעבור כשנתיים לבית ההארחה של התזמורת הפילהרמונית מעבר לירקון, מול תחנת הכוח רדינג, שהיה למעונה הקבוע.
המקהלה הופיעה באופן קבוע בפסטיבל ישראל, אם בירושלים ואם בקיסריה. במסגרת זו שרה את סימפוניית תהילים של סטרווינסקי בניצוח המלחין הישיש, שנים אחדות לפני מותו ב-1971. באותה מסגרת שרה המקהלה את שירי גורה של ארנולד שנברג, עם התזמורת הפילהרמונית הישראלית בניצוח זובין מהטה, ביולי 1974. היה זה הביצוע הראשון של "שירי גורה" בישראל.
בשנת 1972 החליף את יוסף (ג'ו) פרידלנד המנצח הצעיר, יליד ארצות הברית, סטנלי ספרבר. באפריל 1973
פקד את המקהלה אירוע טרגי, כאשר המנצח ההונגריאישטוון קרטס, שבא לנצח על מיסת נלסון של היידן בסדרת קונצרטים, יצא לשחות וטבע בים סוער מול חוף הרצליה, ב-16 באפריל 1973, לאחר הקונצרט הראשון בסדרה. הקונצרט השני, שנועד לאותו ערב, נדחה ועל הקונצרטים הבאים ניצח סטנלי ספרבר, בהופעתו הראשונה כמנצח תזמורת בישראל.
באמצע שנות ה-70' החליף אהרון חרל"פ, עולה מקנדה, את סטנלי ספרבר כמנצח המקהלה ובראשית שנות ה-80' תפס מיכאל שני את מקומו. בין השנים 1988 - 1990 היה סטיבן סלואן מנצח המקהלה.
קשר עם מקהלות מארצות אחרות
בתקופת כהונתו של סטנלי ספרבר ביקרה בארץ במסגרת הזמרייה המקהלה של אוניברסיטת הרווארד מארצות הברית, ה-Glee Club, שסטנלי ספרבר היה מזמריה וניצח עליה לפני עלייתו לישראל. חברי המקהלה האמריקאית התארחו בבתי חברים של המקהלה הפילהרמונית ושרו עמם.
שנים אחדות לאחר זאת, בתקופת כהונתו של אהרון חרל"פ, באה לביקור בארץ מקהלת האוניברסיטה המורמונית מיוטה, שעליה ניצח לפני בואו לישראל.