מוסא מספר כי הרעיון החל להתגבש אצלו כשהיה בן 14, בהשראת ימי הביניים.[2] לאחר שמוריו וחבריו לכיתה לעגו לו על רעיונו, מוסא עזב את בית הספר והלך ברגל לצידון שם עבד עם דודו על שיקום מבצר הים בצידון. מאוחר יותר, ב-1947, הטיל האמירמוריס שיהאב, עליו ועל דודו, לשפץ טירות ולחפש תגליות ארכאולוגיות כדי שיוצגו במוזיאון הלאומי של ביירות. הוא המשיך לעבוד באותו תחום וצבר ניסיון רב בשיקום טירות. לאחר מכן עבר לעבוד בארמון בית א-דיין, שם שיקם את המוזיאון של האמירבשיר שיהאב השני (אנ'). הוא פיקח על העבודה ובין היתר פיקח על הצגת אוסף הנשק, הבגדים והתכשיטים של האמיר והחרב שהוצעה לאמיר על ידי נפוליאון. המוזיאון נחנך בספטמבר 1951 תחת שלטונו של הנשיא לשעבר בשארה אל-ח'ורי, ורק לאחר מכן החל מוסא לעבוד על בניית הטירה שלו. אבן היסוד הונחה בשנת 1962, והמבנה הושלם בעזרת אשתו בשנת 1969.
