L'édifice construit au XIIIe siècle a été remanié au XVIe siècle. La façade donnant sur la rue et la partie du bâtiment comprise derrière la façade est classé au titre des monuments historiques le [3]. Le bâtiment est une propriété privée.
Les Templiers et les Hospitaliers
L'unique mention de la présence des Templiers à Coulmier-le-Sec se rapporte à un moulin pour lequel ils devaient un cens au seigneur du lieu en 1289 et qu'ils remettent en état l'an 1300[4].
↑Delphine Marie, Les Templiers dans le diocèse de Langres : des moines entrepreneurs aux XIIe et XIIIe siècles, D. Guéniot, , 189 p. (ISBN978-2-8782-5260-6, présentation en ligne), p. 123