Caldicot est mentionné dans le Domesday Book de 1086, non pas pour son château, mais comme exploitation agricole appartenant à Durand, shérif de Gloucester. Walter FitzRoger, le neveu de Durand, hérita de ses terres ainsi que de la fonction de connétable d'Angleterre que son père avait occupée et qui était toujours attribuée aux seigneurs de Caldicot. Le fils de Walter, Milo, obtint un titre qui vint s'ajouter aux autres, celui de comte de Hereford.
Famille De Bohun
Les cinq fils de Milo moururent sans descendance, par conséquent, lorsqu'elle épousa Humphrey III de Bohun, Margaret, sa fille aînée, apporta avec elle le comté de Hereford, la connétablie d'Angleterre, et Caldicot. Ce fut probablement lui qui construisit le donjon en pierre et le mur-rideau du château actuel, dans les années 1170. La famille de Bohun occupa Caldicot pendant plus de deux siècles ou huit générations.
À la mort d'Édouard III, ce fut son petit-fils âgé de neuf ans, Richard II, qui hérita du trône. En tant qu'oncle du nouveau roi, Thomas joua un rôle important, lui donnant des conseils. Il fut nommé lord-grand-connétable, ses visites à Caldicot étaient rares, ses domaines principaux étant Pleshey, dans l'Essex, à proximité du siège du pouvoir.
Cependant, en 1381, l'Essex fut ébranlé par la révolte des paysans. C'est peut-être la raison pour laquelle Thomas décida de passer une partie de l'année à Caldicot. Au cours de son séjour, il donna l'ordre d'effectuer d'importants nouveaux travaux au château. Une nouvelle guérite et un pont-levis furent construits. À l'arrière du château, un pigeonnier fut remplacé par une nouvelle tour contenant des appartements privés, elle est maintenant connue sous le nom de tour de Woodstock. Au pied de cette tour, deux pierres sculptées devaient être placées, l'une marquée "Thomas", l'autre "Alianore".
Au fil du temps les relations entre Thomas et le roi Richard devinrent de plus en plus tendues. En 1391, sur les ordres du roi, Thomas fut enlevé et assassiné. Ses biens furent confisqués et revinrent à la Couronne.
La division des domaines de la famille Bohun fut reconsidérée après la mort d'Alianore et de celle de Joan, la mère de Marie de Bohun qui avait survécu à ses deux filles d'une vingtaine d'années. Anne, fille aînée et héritière d'Alianore, perdit Caldicot qui revint au roi Henri V, fils de Marie, et ainsi, Caldicot fit partie du grand duché de Lancastre. Tenu par la veuve d'Henri, Catherine de Valois, Caldicot fut géré par la suite par la famille Herbert pendant la plus grande partie du XVe siècle, puis loué au XVIe siècle à leurs successeurs, les Somerset, dont le pouvoir était basé à Raglan.
Déclin, abandon et restauration
Le château de Caldicot, apparemment à l'état d'abandon, tomba en ruine et ne devint guère plus qu'une ferme. Il fut vendu à Charles Lewis de St Pierre(en) en 1857. En 1885, ce dernier le vendit à son tour à Joseph Richard Cobb, qui commença à le restaurer comme résidence familiale.
De 1885 à 1964, la famille Cobb fut propriétaire du château. La famille de Joseph Cobb y resta après sa mort et ce fut son fils, Geoffrey Wheatly Cobb(en), et en particulier sa belle-fille Anna, qui poursuivirent les travaux de restauration. Au début du XXe siècle, de nombreuses pièces furent décorées avec des souvenirs du premier vaisseau amiral de Nelson, le HMS Foudroyant dont G. Wheatly Cobb fut le dernier propriétaire. G. Wheatly Cobb mourut en 1931 et, après la mort d'Anna en 1943, le château revint au petit-fils de Joseph, Geoffrey Cobb, qui créa des appartements meublés à louer à l'intérieur de trois tours ainsi que dans certaines parties de la guérite.
En 1964, le Chepstow Rural District Council(en) acheta le château à la famille Cobb pour 12 000 £. La disponibilité croissante de logements sociaux(en) à cette époque supplanta la nécessité de créer des appartements au château. Le bâtiment, incluant un petit musée fut ouvert au public en 1965. Après 1967, des banquets de style médiéval y furent organisés.