בתחילה שימש המקום לסחר בזהב ובשנהב ובהמשך החל לשמש לסחר עבדים. האי עבר לשליטת הצרפתית בשנים 1695-1697, ושוב ב-1702, ולאחר מכן שב לשליטה בריטית. המצודה נחרבה ונבנתה מספר פעמים כאשר עברה מיד ליד. ב-1807 אסרו הבריטים על סחר עבדים, ואף יצאו למלחמה נגד סחר העבדים של מדינות אחרות. לצורך כך בנו ביצורים בשפך הגמביה (ראו להלן: האתרים הקשורים) ונטשו את המצודה באי ג'יימס ב-1815.
האי כיום
האי נתון לבליה ולהצפות הנהר, וגודלו בהווה, העומד על כשלושה דונמים, קטן מגודלו בעת שהיה פעיל. שרידי המצודה ומספר מבנים בריטים עדיין ניצבים בו, ובנוסף לכך יש בו מספר עצי באובב. בשנת 2003 הכריז ארגון אונסק"ו על האי כאתר מורשת עולמית בשל כך ש:
"ג'יימס איילנד והאתרים הקשורים בנהר גמביה מספקים עדות יוצאת דופן לפניו המגוונים של המפגש האירופי-אפריקאי מהמאה ה-15 עד למאה ה-20. נהר גמביה היה נתיב הסחר הראשון אל תוככי אפריקה, והיה לפרוזדור לסחר עבדים בשלב מוקדם. הכפרים והסוללות קשורים באופן ישיר עם תחילתו וסופו של סחר העבדים, ומשמרים זכרונות הקשורים לתפוצה האפריקאית."[1]
האתרים הקשורים
האתרים הקשורים לאי אשר נכללו בהכרזתו כאתר מורשת עולמית הם:
בשפך נהר גמביה
סוללת ששת התותחים (Six gun battery) שנבנתה ב-1821 בבנג'ול (בשמה הקודם באתֶ'רסט, Bathurst) וכללה שישה תותחים היורים פגזים במשקל 24 ליבראות. הסוללה הוקמה בפתח נהר הגמביה כדי לעצור את סחר העבדים של סוחרים צרפתים, פורטוגזים ואחרים לאורך הנהר.
פורט בולן (Fort Bullen) הניצב בגדה הצפונית של הנהר, מול בנג'ול. המבצר הוקם ב-1827 לאחר שהתברר שספינותיהם של סוחרי העבדים מצליחות לחמוק מטווח התותחים של הסוללה בהפליגן סמוך לגדה הצפונית של הנהר, שרוחבו סמוך לשפך מגיע ל-10 ק"מ.
סמוך לאי
הריסות "סן דומינגו" שהיה היישוב הפורטוגזי הראשון באזור, ושימש את האי להספקת מי שתייה.
שרידים מקפלהפורטוגזית בכפר אלברדה (Albreda) על הגדה הצפונית של הנהר.
בניין "החברה הצרפתית לאפריקה המערבית", סי.אף. איי.או. (CFAO, Compagnie Française d’Afrique Occidentale).
בית "מאורל פרס" (Maurel Frères) הניצב בכפר ג'ופורה (Juffureh) אשר זוהה על ידי אלכס היילי, כותב הספר שורשים ככפר אבותיו.
