Les ursulines s'établissent à Vesoul à partir de 1615 par Anne de Xainctonge mais elles louent alors une maison. Elles font édifier une chapelle à partir de 1632. Enfin, le couvent actuel est édifié à partir de 1680 par deux maçons savoyards, Nicolas Amoudru et Nicolas Chappuis[2].
D'une grande sobriété architecturale, il donne sur la rue des Ursulines par un porche orné de niches de style Renaissance, suivi d'une avant-cour où se trouve un escalier. Le couvent proprement dit est organisé autour d'une vaste cour intérieure.
Les religieuses aménagent les environs dans les années qui suivent : le mur d'enceinte de la ville est déplacé en 1695 afin de permettre la construction d'un jardin ; puis une écurie est achetée en 1716 et un bâtiment destiné à recevoir des classes construit en 1716[2].
Fermeture du couvent et réutilisation des lieux
Le couvent est fermé et vendu comme bien national à la Révolution. De 1808 à 1835, il sert de prison. Une École normale ouvre dans le bâtiment Sud en 1834 puis occupe tout l'ancien couvent. L'ancienne église est elle utilisée comme théâtre municipal de 1827 au début du XXe siècle. L'aménagement intérieur et le bâtiment entre église et couvent ont été détruits mais les façades et les volumes restent proches de ce qu'étaient le couvent au XVIIIe siècle[2].
À la fin du XXe siècle, des concerts sont organisés en période estivale dans la cour intérieure du musée.