L’hôtel semble avoir été édifié par un riche bourgeois, Jean Canelle (1503-1562), futur seigneur de Vaulichères, receveur des aides et tailles à Tonnerre, après 1556. La date de 1533 a été gravée lors de la restauration de 1888. Ses descendants l'occupent jusqu'en 1651.
Cette maison doit son nom à Louise de Clermont. Celle-ci épouse en secondes noces, Antoine de Crussol, duc d'Uzès. Comtesse de Tonnerre, et amie des Canelle, elle séjourne en ce lieu à de multiples occasions.
La cour et la façade sont tout ce qui reste d'un ensemble beaucoup plus vaste.
La décoration de l'édifice en fait un exemple des constructions de la renaissance dans Paris : tourelle à encoignure, lanterneaux, fenêtres à meneaux, niches, coquilles, frises ornées avec une délicatesse extrême, d'arabesque, de faunes, etc.
Les deux statues latérales datent par contre de la restauration de 1888.