Il castello ha origini gallo-romane e le sue mura si possono far risalire alla fine del III secolo. Inizialmente era più un campo fortificato di 400 metri di lunghezza e di 230 metri di larghezza, posto all'estuario del fiume Penfeld. Nel corso degli anni il castello ha subito diversi ammodernamenti e una successione di proprietari. Dal IX secolo il castello entrò in possesso del conte Leon, fino a quando nel 1240 il conte Hervé V, a causa della sua imprevidenza, si trovò obbligato a venderlo ai duchi di Bretagna con la Francia.
Venne trasformato in cittadella dal celebre architetto Vauban fra il 1683 e il 1695.
L'aspetto che oggi ha il castello è dovuto a un restauro effettuato all'inizio del XX secolo. Nel 2010 si è reiniziato un lavoro di restauro delle mura esterne.
