Kaiser Karl V., der seine Stellung an der Maas besser verteidigen wollte, befahl seiner Schwester Maria von Ungarn, den Bischöfen von Lüttich die Grafschaft Agimont-Givet abzukaufen. Im Jahr 1554 begann der Bau der Festung.
Zum 20. Jahrhundert wurde das Fort als Kommando- und Ausbildungszentrum genutzt[1].
Im Ersten Weltkrieg wurde die Festung nach dreitägiger Belagerung am 31. August 1914 von deutschen Truppen eingenommen. Am 24. Oktober 1927 wurde die Festung zum historischen Denkmal erklärt.
Zu Beginn des Westfeldzuges wurde Charlemont am 13. Mai 1940 durch deutsche Artillerie bombardiert und in der Folge von französischen Truppen aufgegeben. Nach der Befreiung von Givet am 7. September 1944 wurden in der Festung 11.000 amerikanische Soldaten aufgenommen, die im Dezember 1944 bei der Bekämpfung der von General von Rundstedt angeführten Ardennenoffensive zum Einsatz kamen.
Im Jahr 1963 wurde unter General Massu eine Entscheidung getroffen, das erste Centre d’entraînement commando unter dem Emblem des 9. Regiments einzurichten. Im Jahr 2006 wurde es umbenannt und wurde in das 3. Regiment der Fallschirmjäger eingegliedert. Bei der Reorganisation der Verteidigung durch Präsident Sarkozy wurde es im Sommer 2009 aufgelöst. Seitdem kann es an Wochenenden besichtigt werden.