1223年,贝佛瑞城堡重归王室所有。其后,城堡陆续经历了数次建设,直至1300年形成其最终的形态。14世纪末,城堡所属的封建领地被授予给兰开斯特公爵冈特的约翰。冈特的约翰很少使用这座城堡,因此令人从城堡的建筑材料中抽取部分重复使用于其他地方,这标志着贝佛瑞城堡衰落的开端。自此以后,城堡由兰开斯特公国拥有和管理。贝佛瑞城堡在行政上变得不再重要,1609年,记载已经显示其“严重荒废以致无法使用”[4]。19世纪,沃尔特·司各特爵士在其小说《峰区的贝佛瑞(英语:Peveril of the Peak)》中描述了这座城堡。贝佛瑞城堡位于国家公园内,由英格蘭遺產委員會管理,是英国的在册古迹和I级登录建筑。
尽管威廉·贝佛瑞自己拥有大片土地,他的影响力主要来自于王室的授权。1100年,新国王亨利一世任命贝佛瑞为峰区的领主,贝佛瑞城堡也因此成为其领地的行政中心,承担着收税的职能。城堡附近的卡斯尔顿(英语:Castleton, Derbyshire)受益于城堡的这一职能,开始成长为贝佛瑞领地的经济中心[10]。1114年,威廉·贝佛瑞逝世,其子小贝佛瑞继承了他的财产。在斯蒂芬和玛蒂尔达皇后间的内战中,小贝佛瑞支持的一方战败,他的财富在1141年的林肯之战(英语:Battle of Lincoln (1141))中蒙受了损失。1153年,小贝佛瑞被怀疑对切斯特伯爵下毒,未来的国王亨利二世指责小贝佛瑞有“侵占和背叛”的行为,威胁要没收他的财产,交给切斯特伯爵[11]。两年后,1155年,亨利二世即位,践行了他的威胁。切斯特伯爵此时已经逝世,亨利二世没收了贝佛瑞城堡之后将其占为己有[11]。贝佛瑞城堡自此成为王室狩猎区的行政中心[12]。
1199年,理查一世逝世,约翰成为国王。第四代德比伯爵威廉·费勒斯(英语:William de Ferrers, 4th Earl of Derby)此时继承了贝佛瑞家族财产的要求权,他向约翰国王支付了2,000马克,买下了峰区的领地,但是贝佛瑞城堡和博爾索弗城堡仍由王室控制。约翰国王最终在1216年将城堡交给了费勒斯,以确保费勒斯在面对全国性的大量叛乱时费勒斯仍继续支持他。原先的城堡主虽然是约翰国王的支持者,但是拒不执行命令。约翰国王于是授权威廉·费勒斯以武力进行驱逐,原先的城堡主最终投降了,城堡没有留下受到攻击的痕迹[17]。
Brown, David, Walter Scott and the Historical Imagination, Routledge, 1979, ISBN 978-0-7100-0301-0
Brown, Reginald Allen, Allen Brown's English Castles, Woodbridge: The Boydell Press, 2004 [1954], ISBN 1-84383-069-8
Cathcart King, D. J., Castellarium Anglicanum: An Index and Bibliography of the Castles in England, Wales and the Islands. Volume I, New York: Kraus International Publications, 1983, ISBN 0-527-50110-7
Creighton, Oliver, Castles and Landscapes, London: Continuum, 2002, ISBN 0-8264-5896-3
Hull, Lisa, Understanding the Castle Ruins of England and Wales: How to Interpret the History and Meaning of Masonry and Earthworks, McFarland & Co, 2008, ISBN 978-0-7864-3457-2
Jessop, Oliver; Beauchamp, Victoria, Duffield Castle, Duffield, Derbyshire: a reappraisal, The JESSOP Consultancy, 2015, doi:10.5284/1031936
McNeill, Tom, English Heritage Book of Castles, London: English Heritage and B. T. Batsford, 1992, ISBN 0-7134-7025-9
Milward, Roy; Robinson, Adrian, The Peak District, Taylor & Francis, 1975, ISBN 978-0-413-31550-2
Pevsner, Nikolaus; Williamson, Elizabeth, Derbyshire: Volume 8 of Buildings of England Pevsner architectural guides 2nd, Penguin Books, 1978 [1953], ISBN 978-0-14-071008-3