Muzeum bylo založeno v roce 1890 v paláci Carnavalet, který město zakoupilo v roce 1866 na radu barona Haussmanna a v letech 1871-1890 jej nechalo zrekonstruovat a rozšířit, aby se zde bylo lze umístit historické sbírky města Paříže. Další zvětšení proběhlo v roce 1914.
Do paláce byly zakomponovány některé architektonické prvky ze staré Paříže:
Hôtel Le Peletier de Saint-Fargeau byl pro muzeum získán v 60. letech20. století a v letech 1982-1989 prošel nákladnou rekonstrukcí, při které do něj byly začleněny mnohé zajímavé a cenné interiéry:
kabinet paláce Villacerf obložený malovanými kazetami představující Apollóna a roční období
kabinet a pokoj z paláce Rivière se stropy a tapiseriemi malíře Charlese Le Bruna (1619-1690)
Modrý salón ve stylu Ludvíka XVI.
dva pokoje ve slohu Ludvíka XV. s výzdobou navrženou architektem Claudem Nicolasem Ledouxem jako příklady novoklasicismu