L'hôtel des douves fut construit au XVIIe siècle pour Raymond Le Doulx, chanoine de la cathédrale de Vannes[1].
À la mort en 1748 de l’abbé Verdoyev, neveu et successeur de Raymond Le Doulx, l'hôtel connaît une période de tribulations juridiques, jusqu'à devenir la propriété de M. Blévin de Penhoët qui l’occupe jusqu’à son décès en 1779[2].
L'hôtel de Gouvello
En 1780, Marie-Joseph-Armand de Gouvello, seigneur de Keriaval, achète l’hôtel et effectue plusieurs travaux d'embellissement : baies du premier étage agrandies, balcons posés et portes-fenêtres réalisées. L'hôtel prend alors le nom de Gouvello[2].
Par la suite, l'hôtel devient en 1797 la propriété du maireFrançois Mahé de Villeneuve, puis en 1811 du receveur général des finances Joseph-François Danet, issu d'une famille de riches négociants vannetais[2].
L'hôtel de Limur
A la suite de la banqueroute de Joseph-François Danet, l'hôtel devient, en 1820, la propriété de la famille de Limur, qui lui donna son nom actuel[1]. Ceux-ci le revendent en 1947 à la municipalité de Vannes.
Musée puis CIAP
De 1955 à 1968, l'hôtel de Limur accueille le musée des beaux-arts. Dans les années 1980, la mairie le cède à l’État pour un franc symbolique, mais à nouveau racheté par la ville en 1991[2].