הבית נבנה במחצית הראשונה של המאה ה-19 בידי בני משפחת אל-עזה, שהגיעו מאזור הר חברון. המשפחה התגוררה ביפו, ובזכות קשריה עם הסולטאן עבדול חמיד השני, ניתנו לה אדמות רבות בארץ, בעיקר באזור לכיש. בעיר יפו החזיקה המשפחה בית אחד, וארבעה בתים נוספים הוקמו לצד הדרך ההיסטורית יפו-ירושלים - דרך בן-צבי של ימינו. הבתים היו מפוארים, ואחד מהם אף שימש את סגן הקונסול הצרפתי פיליברט ז'יל בסוף המאה ה-19 ואת סגנו של הרברט סמואל בתקופה מאוחרת יותר. בבית הסמוך למפגש הרחובות בן-צבי ותל גיבורים של ימינו, התגורר חליל אל-עזה, שהיה בעל קשרים ענפים גם עם היהודים, ובין באי ביתו היו גם אהרן שלוש וחיים ויצמן. חליל אל-עזה הלך לעולמו ב-1942, ובנו איסמעיל המשיך בדרכו[1].
.
ב-1954 הקים צה"ל בבית את מועדון קליעה כביר, שפעל במסגרת הגדנ"ע[1]. בתוך המבנה היה מטווח לאקדחים, ובחצר מטווח לרובים. המועדון הכשיר אלפי קלעים, כמה מהם היו לבכירי הקלעים בישראל. בעקבות הצלחת המועדון, הקים הגדנ"ע מועדונים דומים ברחבי הארץ, במסגרת גדנ"ע קליעה. כיום ניתן לראות בקירות שונים בבית ובמיוחד בדלת הליוואן העתיקה את החורים שפערו הקליעים של החניכים הפחות מוצלחים. מפקד המתקן, דן דוד, התגורר עם משפחתו במבנה סמוך.
בשנת 2007 נסגר מועדון הקליעה משיקולים תקציביים. הבניין עמד בשממונו מספר שנים, המדינה סירבה למסור את הבית למשפחה, יזמה הליך איחוד וחלוקה מחדש ללא הסכמת המשפחה, ומכרה את הבית במיליוני שקלים[דרוש מקור]. בד בבד, בשנים האחרונות פועלת בקומה התחתונה של המבנה, אשר שימשה במקור לאחסון ולאריזה, נגרייה. ב-2020 נפתח בקומה התחתונה מלון בוטיק, ובקומה העליונה מועברות סדנאות בישול.
המבנה
ככל בית באר, גם ראשיתו של בית אל-עזה זה בבאר, ממנו נשאבו מים באמצעות אנטיליה, והועברו לבריכת אגירה. לצדם הוקמו שני מבנים ששימשו כמחסנים, ומאוחר יותר חוברו באמצעות מבנה שלישי ששימש כאורווה. המבנים נבנו בפשטות יחסית, מאבני כורכר שכוסו בטיח, וקורו בקמרונות צולבים.
הקומה השנייה, שנוספה בשלב מאוחר יותר, שימשה למגורים, והייתה מפוארת יותר. היא נבנתה בסגנון האופייני לבתי ליוואן (חלל מרכזי המשמש לאירוח, שסביבו חדרי המגורים), וכללה גם אלמנט בהשראת הבנייה הטורקית: דִירֶכְּלִיכּ - שני עמודי שיש המופרדים ביניהם ובין הקירות באמצעות קשתות, ומחלקים את החלל לשלושה חלקים. הקומה השנייה קורתה בעץ, וכללה מרצפות מעוטרות. הליוואן מרוצף בחלקו במרצפות משושות ייחודיות אשר לא נמצאו בשום מקום אחר בארץ ישראל, וכנראה יובאו במיוחד מוונציה. מאוחר יותר נוספה לבית מרפסת, אך היא נסגרה והפכה למסדרון. מהחלל המרכזי, הליוואן, הוקמה גזוזטרה קטנה אשר פונה לדרך הראשית, אולם היא נסגרה לאחר כניסתו של צה"ל למבנה. שאר החדרים בקומה מפוארים פחות, אולם גם הם כללו רצפות וקירות מאוירים ותקרות עץ בעלות פיתוחים ועיטורים.
מדרום וממזרח לבית היו הפרדסים, שהושקו באמצעות תעלות שהובילו מים מהבריכה. הפרדסים נעקרו לאחר קום המדינה, ובמקומם הוקמו כמה מבתיה של שכונת נווה עופר וכן בית מעצר תל אביב. חלקים מהמבנה נהרסו ובמקומם הוקמו מבנים שונים ששימשו את הצבא.
