Borgen har dele af ringmuren; nogle er omkring 9 meter høje[2], rester af latriner og bygninger inden for murene.
Eynsford Castle minder om tidlige tyske fæstninger med bergfried: et højt fritstående tårn til forsvar.[3] På trods af dette er den usædvanlig idet der hverken er keep eller tårn.[1]
Borgen er bygget før den normanniske erobring af England som et motte-baileyanlæg i træ.[5]
Før Domesday Book var den ejet af biskoppen af Canterbury og holdt af Ralphs søn af Unspac.[6] De ældste stenmurer stammer fra 1085-87 og er bygget af William de Eynsford I, der var søn af Ralph. I 1250 blev den raseret af en brand, hvorefter en større storsal blev genopbygget af en senere William de Eynsford.[2] Murene blev også forhøjet på det tidspunkt.[6]
I 1261 bliver borgen delt mellem familierne Criol og Kirkeby. Det var årsag til en del konflikter. I 1312 plyndrede Nicholas de Criol borgen i protest over at dommer William Inge havde købt borgen af Kirkeby, hvorefter den gik i forfald.[5][7]
I 1797 var der kun ruiner tilbage af borgen, og i 1948 overgik bygningen til staten. Eynsford Castle ejer er English Heritage og er åben for offentligheden.[6]
