За інформацією музикознавця Вільяма Манна, спочатку Вальтер Легге створив струнний квартет, який він власними силами доводив до досконалості; згодом квартет перетворився на камерний струнний оркестр і накінець — в повноцінний симфонічний[1].
Першим диригентом оркестру був Томас Бічем, але через бажання Бічема повністю контролювати колектив Легге відмовив йому у співробітництві. Протягом десяти років оркестр працював без головного диригента, записуючись і виступаючи під керівництвом таких грандів, як Артуро Тосканіні, Вільгельм Фуртвенглер. Основним запрошеним диригентом був Герберт фон Караян, для якого на межі 1940—1950-х років робота з оркестром «Філармонія» стала компенсацією вимушеної бездіяльності в Німеччині й Австрії.
На початку 1950-х років оркестр «Філармонія» став одним з найкращих оркестрів світу; після дебюту в Карнегі-хол в 1955 році «Нью-Йорк таймс» стверджувала, що лондонський оркестр навіть кращий Берлінського філармонічного оркестру.[2]
1964 року Легге заявив про свій намір розпустити Філармонію: оскільки конкуренти (Decca Records, Philips, Deutsche Grammophon і Columbia) робили записи з найкращими оркестрами Європи і США, Легге вирішив не вартим утримувати спеціальний студійний оркестр[3]. Але музиканти відмовились розлучатись і в тому ж складі, під керівництвом Клемперера, 1964 року заснували самоврядний оркестр «Нова Філармонія» (англ.New Philharmonia Orchestra), а 1977 року оркестр повернув собі назву «Філармонія».
Оркестр «Філармонія» вважається одним з найбільш інтенсивно записуючих оркестрів світу: ним здійснено більше тисячі записів.