Enrique II del Carretto fundó en torno a 1188 el Burgus Finarii, actual Finalborgo, situando su residencia en Castel Gavone, el 1 de agosto de ese mismo año. La finalidad de esta fortaleza era la de cumplir las funciones de refugio, defensa y control del territorio, pero también una función residencial y de representación.
Gracias al rápido ascenso político de los marqueses de finale, el castillo se convirtió en residencia principesca, albergando a Conrradino de Hohenstaufen en 1268 antes de su descenso a la Italia meridional para defender sus derechos sobre el Reino de Sicilia frente a Carlos de Anjou. Ampliado y embellecido, readquirió con Galeotto del Carretto el rol de importante sede política, pero en la guerra contra Génova (1477 - 1452), el castillo fue destruido. El sucesor de Galeotto, Giovanni I dio inicio a una inmediata obra de reconstrucción. Ya en 1452, año en el cual de firmó la paz con Génova, pudo celebrarse en el castillo la boda entre el marqués y Biscontina Adorno. Por lo que respecta a la llamada Torre de los Diamantes, algunas fuentes indican como fecha de su construcción el año 1456 aunque para otros la construcción dataría de en torno a 1490. En 1571, a causa de la crisis del marquesado debida al marqués Alfonso II del Carretto, tropas españolas entraron en el marquesado y rodearon el castillo (como medida preventiva frente a las pretensiones de Francia y Génova). Se inició así una larga controversia diplomática que se cerró en 1598 con la venta del marquesado por parte de Sforza Andrea Del Carretto a España y con la ocupación efectiva del Finalese por parte de las tropas españolas en 1602. Desde entonces y hasta 1707, Finale estuvo bajo la dependencia de la Corona de España. El castillo en este período asumió importantes funciones: mejora de las defensas y para hospedar a una compañía de 270 soldados y una gran cantidad de municiones. En este período también fue reforzado el cinturón externo pero sin resolver la ya intrínseca debilidad de la fortaleza respecto a los modernos medios bélicos.
Solo entre 1713-1714, después de las paces de Utrecht y Rastadt que pusieron fin a la Guerra de Sucesión Española, Génova consiguió hacerse con el control del marquesado a cambio de un alto precio. En 1715, el primer gobernador de la República, Antonio Spínola, por orden del Consiglio della Superba, ordena el desmantelamiento de la fortaleza mediante detonaciones de minas. De las explosiones se salvaron solo parte de los muros perimetrales del edificio, los subterráneos y la Torre de los Diamantes. Las ruinas permanecieron así por más de dos siglos. El 29 de diciembre de 1989 el castillo fue donado a la ciudad de Finale Ligure por la familia Cavassola, última familia propietaria.
