19 июня1756 года бенгальский навабСирадж уд-Даула захватил британскую крепость и переименовал её в Алинагар. В ту же ночь, с 19 на 20 июня, в «чёрной яме» были замучены множество англичан из числа пленных, в том числе и раненые.
После битвы при Плесси форт был отвоёван Робертом Клайвом и в 1758—1781 годах значительно расширен на случай нового нападения. Этот новый форт имеет форму восьмиугольника. В 1762—1764 годы работами руководил молодой швейцарский инженер Полье. Старый форт был приспособлен под таможню.
В 1800 году генерал-губернатор Индии лорд Ричард Уэлсли основал в Форт-Уильяме учебный и научный центр востоковедения, который имел двоякую цель: распространять среди туземцев европейскую образованность и познакомить агентов Ост-Индской компании с языками, литературой, историей и правами тех стран, которыми компания была призвана управлять. Первым его директором стал шотландский священник, богослов, проповедник и миссионер Клавдий Бьюкенен. До 1830 года Колледж Форт-Уильяма был одним из наиболее влиятельных научных центров в Северной Индии[1][2][3].