פנחל תכנן בניין מלבני שאורכו 100 מטרים, רוחבו 20 מטרים וגובהו 10 מטרים. במרכז הבניין אולם בעל חלונות גדולים. במרכז האולם בריכה, שנועדה להצבת פסלים. הקירות הפנימיים צופו בשיש ובחרסינה שהובאה מבלגיה. כן הוקם במבנה אודיטוריום ובו 350 מקומות, ומרפסת גדולה המשקיפה על חוף הים. מיקומו של הבניין, באזור חוף ארגמן שבדרום העיר, נבחר על ידי העירייה, במטרה לתרום לפיתוחו של האזור, ולאחר שהמיקום הראשוני שנבחר לו, בסמוך לקריית צאנז שהחלה להיבנות, נדחה בשל בשאיפה להימנע מהקמת מרכז תרבות חילוני בסמוך לשכונה חרדית. באפריל 1959 נחנך המוזיאון, בטקס במעמד אליזבת מלכת בלגיה (רעייתו של אלברט הראשון), ראש ממשלת ישראל לשעבר משה שרת, ראש ממשלת בלגיה לשעבר קאמיל הויסמנס וראש עיריית אנטוורפן.
...מורגשת השאיפה להתאים את הבניין לנוף, ולהשרישו בסביבתו הטבעית. מנקודת מבט זו הרי זכה המוזיאון החדש לפי תכנית האדריכל פניכל. הוא הוקם על גבעה ליד הים בדרום העיר, ונראה כהיכל-אמנות נאה והדור. פסיפס בצבע כחול-ימי מקשט את חזית הבניין המארך. כמו בבניינים האופייניים לארדיכלות המודרנית (כגון בניין המזכירות של האומות המאוחדות בניו יורק ורוב ביתני התערוכה העולמית בבריסל) השתמשו אף כאן בשפע של זכוכית המשווה לפנים הבניין ולמראהו החיצוני אווירת רחבוּת, קלילות ואווריריות. האור חודר בנקל לבניין ומשתקף בשטחים העשויים חומרים שונים - שיש, פסיפס-זכוכית, טיח, מתכת צבועה. המבנה עושה רושם של מבנה קליל ואלגנטי ועם זאת חזק ויציב[1].
חרף ההשקעה האדירה, לא משך אליו המוזיאון מבקרים, והוא נותר שומם. בין הסיבות לכך - ריחוקו ממרכז העיר, היעדר קהילת אמנים בעיר, ומחסור במשאבים שמנע הבאת תערוכות מבחוץ. ב-1963 נפטר גולדמינץ, ובהתאם לצוואתו, הועברה הבעלות בבניין למדינה. האפוטרופוס הכללי בחן מספר אפשרויות, בהן הקמת ישיבה ובית ספר לניהול, אך מנהלי עזבונו של גולדמינץ בבלגיה פסלו אפשרויות אלה[2]. בסופו של דבר הוסכם על העברת הבניין לרשות האגודה למען החייל. כחלק ממימוש הצוואה, הועברו לאגודה 240 אלף לירות נוספות מעזבונו של גולדמינץ, ונחתם הסכם בו נאמר כי "לא ישונה האגף המרכזי של המוזיאון ותקוים בו גם בעתיד תצוגה מתמדת של ציור והוא יהיה מופרד משאר האגפים ופתוח לציבור".
על אף ההסכם, נערכו בבניין שינויים שונים לאורך השנים, כדי להתאימו ליעודו החדש, מתקן נופש של האגודה למען החייל. בין היתר, נאטמו החלונות גדולים שלו, החלל המרכזי פוצל לשתי קומות, הבריכה הוסרה מהמבנה ובמקומה הוקם חדר אוכל, חזית הבניין חופתה בקרמיקה בצבע בז', וסביב המבנה הוקמו מבני מגורים, כיתות לימוד ובריכת שחייה. יצירות האמנות שהיו בבניין הוחזרו לבעליהם, והמתחם אינו פתוח לציבור הרחב.
כיום משמש מתחם בית גולדמינץ הן כמתקן נופש והן את בית הספר לפיתוח מנהיגות. הוא כולל מספר מבנים בהם 88 חדרים, המכילים 528 מיטות, 40 כיתות לימוד, שני חדרי אוכל שבהם 450 מקומות ישיבה, ואולם קולנוע.
