המבנה שימש כמצודה בעת פלישות הוונדלים במאה ה-5 והערבים במאה ה-7.
בספרו "מסע ארכאולוגי באזור תוניסיה", מציין הנוסע הצרפתי ויקטור גרן, כי לפי המסורת המקומית נותר האמפיתיאטרון בשלמותו עד סוף המאה ה-17, וכי רק לקראת 1695 החלו נוטלים מחזיתו חומרי בניין[1], בין היתר בלחץ השליט העות'מאני המקומי, אשר ביקש למנוע מהמקומיים לעשות בו שימוש בעת מרד. בערבית מכונה המבנה בשם "מצודת אל ג'ם" או "מצודת קהנה", על שמה של נסיכהברברית מהמאה ה-7, אשר עמדה לפי המסורת בחזית ההתנגדות לכיבוש הערבי, והתבצרה עם תומכיה באמפיתיאטרון משך ארבע שנים.
האמפיתיאטרון שייתכן והקמתו מעולם לא נשלמה, היה מסוגל להכיל כ-30,000 צופים. הוא נחשב לשלישי בגודלו באימפריה הרומית, לאחר הקולוסיאום ברומא והאמפיתיאטרון של קפואה, אם כי מבנים דומים נוספים בוורונה ובקרתגו לדוגמה, טענו גם הם לתואר זה. אורכו של המבנה האליפטי מבחוץ הוא 147.90 מטר ורוחבו מגיע ל-122 מטר; ומידות הזירה שבמרכזו הן 64.50 מטר ו-38.80 מטר בהתאמה. היקפו הגיע ל-427 מטר והוא נישא לגובה של 36 מטר[2].
