Le comité des fortifications se rallie au projet du chef de bataillon du génieMichel Bizot (né à Bitche en 1795) qui prévoit le camp retranché sur le côté nord-ouest englobant ainsi la ville. Bizot a déjà l'expérience de ses projets pour l'enceinte de Strasbourg en 1837 et pour les travaux de l'enceinte du vallon à Belfort. Le fortin de la Roche Percée ou de Saint Sébastien, à proximité de la chapelle du même nom, constitue le bastion 7 de la nouvelle enceinte et se relie au château par un rempart flanqué de deux bastionnets casematés. Il est le point de résistance ultime du réduit qui protège des tirs venant des hauteurs avoisinantes. Le fort Saint Sébastien constitue le bastion le plus important de la nouvelle enceinte. Il défend le nord de la ville et doit empêcher qu'un ennemi ne s'empare de la colline de la Roche Percée, située à 339 mètres d'altitude. Avant même les premiers remparts du fort, des fossés d'une profondeur de dix mètres et d'une largeur de quinze à vingt mètres, protégés par trois bastionnets, sont creusés. Des pièces d'artillerie, disposées sur le cavalier, pouvaient balayer toute la vallée du moulin de Ramstein jusqu'au loin vers la Ochsenmühle.
Le terrain entre le pied du fort et la citadelle sert de terrain d'exercice puis de camp retranché pendant le siège de 1870-1871. Actuellement, l'emplacement du camp retranché est occupé par le terrain de sport. Les remblais proviennent en partie des déblais du fossé du fortin. Ils sont transportés par wagonnets sur rails. Un décret ministériel du a élevé la ville au rang de place forte de première classe avant la fin des travaux en 1857. Après la guerre franco-prussienne de 1870, la place forte de Bitche, loin de la frontière, n'a plus de valeur stratégique. Ses fortifications n'étant plus adaptées au progrès de l'artillerie à canon rayé, le fort est déclassé par les Allemands en 1880.
À une certaine époque, avec l'accord des responsables de la ville, bon nombre de Bitchois se sont servis des pierres du fossé, resté à l'abandon, pour construire leurs maisons ou leurs murs de jardin. Le fort Saint-Sébastien a vécu une trentaine d'années, coûté un peu plus de 320 000 francs au lieu des 190 000 prévus et procuré du travail aux habitants de la région. Depuis quelques années, l'association Les amis du fort s'emploie, avec l'aide de la municipalité, à le faire revivre.
.svg){kind=small}
.svg)
