בראשית שנות ה-70 מועצת העיר של קאולון לחצה להקמת מרכז תרבות באותה איכות של מרכז התרבות באזור סנטרל שבאי הונג קונג. הוחלט על הקמת מרכז התרבות בשנת 1974, ונקבע מיקומו. עבודות הבנייה היו אמורות להתחיל בשנת 1975, אולם בשל אילוצים תקציביים נעצרו העבודות. בשנת 1978 הוחלט להמשיך בתוכנית, אבל העלות המשוערת של הבנייה עלתה מ-190 מיליון דולרים ל-474 מיליון דולרים; בשל הבעיות התקציביות, ובשל מחלוקת ציבורית שהתעוררה סביב הריסת מבנה התחנה ההיסטורי באתר, התעכבו העבודות, והמבנה הושלם בשנת 1989[1]. העוגב (בשווי 10 מיליון דולרים) הותקן בין אוגוסט לנובמבר 1989[1].
אולם הקונצרטים המרכזי, בו 2,019 מושבים, לאולם צורה אובלית, שתי קומות, ותקרה מתכווננת אקוסטית[2]. האולם הוא אולם הבית של התזמורת הפילהרמונית של הונג קונג. באולם מצוי העוגב הגדול באסיה - לו 8,000 צינורות.
