V roce 877 nechal Karel II. Holý zlepšit opevnění Paříže, aby ochránil město před častými nájezdy Normanů. Byly opraveny hradby na ostrově Cité, opevněny mosty a k jejich ochraně byly na březích vybudovány dřevěné věže.
Dřevěné věže byly nahrazeny kamennými stavbami kolem roku 1130 za Ludvíka VI. Petit Châtelet byl jen jednoduchou stavbou s bránou a dvěma věžemi. 20. prosince 1296 se rozvodnila Seina, která poškodila Petit-Pont i Petit Châtelet. Ten nechal Karel V. přestavět roku 1369. Karel VI. v roce 1382 určil Petit Châtelet jako sídlo pařížského prévôta. Část sloužila jako vězení.
V roce 1769 bylo nařízeno Petit Châtelet zbořit, k čemuž došlo v roce 1782. Vězni byli přesunuti do věznice Force a volné prostranství bylo přeměněno na náměstí Place du Petit Pont.
