Si vous disposez d'ouvrages ou d'articles de référence ou si vous connaissez des sites web de qualité traitant du thème abordé ici, merci de compléter l'article en donnant les références utiles à sa vérifiabilité et en les liant à la section « Notes et références ».
Le donjon, en blocs de pierre réguliers, suit un plan carré de 12 mètres de côté, et s’élève aujourd'hui à 54 mètres (avec toiture)[1]. Il a été construit entre 1250 et 1274 par Guillaume II, seigneur de Champlitte-Pontailler, que l'évêque de Langres, Robert de Thourotte, avait reconnu en 1234 seigneur de Talmay (au détriment de l'abbaye de Bèze) en échange d'une inféodation totale. Guillaume avait alors obtenu la reconnaissance de cette acquisition par le duc de Bourgogne, Hugues IV, et par le comte de Bourgogne, Othon, malgré l'opposition de l'abbaye de Bèze qui porta le contentieux jusqu'à Rome et demanda l'arbitrage du pape Innocent IV. Celui-ci statua en faveur de l'abbaye mais son avis resta lettre morte et Guillaume II fut confirmé seigneur de Talmay et dépendances (Heuilley, Maxilly ...).
Ce château d'architecture gothique, est percé de huit fenêtres à meneaux, réparties sur deux façades de quatre étages, d'ouvertures de tirs tout autour d'un cinquième étage, et doté de huit bretèches et trois latrines, toutes d'origine, ainsi que de plusieurs autres petites fenêtres postérieures. La toiture du donjon, à quatre pans, est couverte d'ardoise et surmontée d'un clocheton.
Château moderne
Le château moderne, d'architecture classique, suit un plan en U. Il se décompose en un corps central, avec fronton sculpté, et deux ailes, tous construits avec de gros blocs de pierre jaune réguliers. L'entrée dans le bâtiment se fait par les façades avant et arrière du corps central, via deux escaliers à double volée en pierre. L'entrée arrière, donne sur une vaste terrasse, et permet d’accéder au jardin, par un escalier monumental en pierre, gardé par deux sphinges en pierre sculptés. La façade avant est percée de quatre portes (trois permettant l'accès au sous-sol, et une permettant l'accès au corps principal), de vingt-sept fenêtres à la française, et de quatre lucarnes. La façade arrière est percée de deux portes (l'une sous l'escalier, permettant l'accès au sous-sol, et l'autre permettant l'accès au corps central), de vingt-quatre fenêtres à la française, et de quatre lucarnes. La façade à senestre est percée de dix fenêtres à la française et de deux lucarnes. La façade à dextre, attenante au donjon, est percée d'une porte, permettant l'accès aux cuisines, à la chapelle et à la tour, ainsi que de onze fenêtres à la française et 2 lucarnes.
À la mort de M. de Marmier, en 1630, ce sont ses filles cadettes, Madeleine-Diane et Jeanne-Alexandrine, et leur descendance qui héritent du château et de la baronnie de Talmay.
En 1692, ce dernier fait poser les boiseries et le toit pyramidal à clocheton du donjon. Jusqu'en 1703, il s'emploie à s'imposer auprès du curé et des habitants de Talmay, qui contestent sa légitimité. À sa mort, en 1716, sa veuve Louise-Andrée Levieulx administre la seigneurie jusqu'à sa propre mort en 1723.
À la mort d'André Fijan, en 1747, sa nièce, Marie-Jeanne, hérite sa part et coadministre la terre de Talmay avec son père, Étienne, jusqu'à la mort de ce dernier en 1751.
En 1824, ces derniers vendent le château à Pierre-Auguste Floret (1785-1847), qui le lègue en héritage, en 1847, à sa nièce Bonne-Isaure-Françoise Derrion-Duplan, qui le fait entrer dans la famille Thénard, par son mariage avec le baron Paul Thénard (1819-1884), représentant du canton de Pontailler au conseil d'arrondissement (1852-1856), maire de Talmay (1852-1866), conseiller général (1856-1871)[2].
La dernière des Thénard de Talmay, Fanny, transforme, au milieu du XXe siècle le jardin à la française en jardin à l'anglaise, avant que l'époux de sa petite-fille, Pierre Bordeaux-Montrieux, décide d'entamer, grâce aux dessins conservés dans les archives du château, la reconstitution du jardin originel, poursuivie par sa bru, à partir de 1960.