Замок построил Уильям Фиц-Осберн в 1067—1071 годах, а в 1200 году граф Пембрук добавил к замку две башни, его сыновья — сторожку и барбакан (постройка, обороняющая подъемный мост).
Замок Чепстоу является первым замком Великобритании, построенным полностью из камня.