Son emplacement était celui de l'hôtel Marest. Il sera ensuite connu sous les noms d' hôtel d'Aubert, ou encore hôtel du Bas-du-Gast. La façade sur jardin intègre dans l'aile nord un bâtiment beaucoup plus ancien. L'hôtel a été agrandi en 1762 et le décor intérieur complété en 1773. L'hôtel possède encore ses jardins ainsi que ses décors intérieurs.
L'hôtel est construit en U. Il était entouré de plusieurs jardins: un jardin à la française, un jardin à l'anglaise. Sur la façade, le fronton triangulaire est décoré de deux pigeons entourant une corbeille de fleurs en signe d'amour et de pureté.