В давнину селище називалося село Кіасова Гора, етимологія слова Кіасова походить від угро-фінського слова, що означає глиняну місцевість.
Село згадується в літописах з 1238. Входило до складу Городецького стана Бежецького Верху, а потім Кашинського повіту, як центр Кесовської волості. У XVIII–XIX ст. великий торговий центр (4 рази на рік влаштовувалися ярмарки). У 1783 році в селі проживало 770 душ в 300 дворах. У 1859 році до складу села входили посади Червоний, Заячий та Граки (214 дворів, 1272 особи). Пізніше до складу Кесової Гори увійшли село Нікольське та присілок Рассудово.
Селище в переважній більшості забудований одно-і двоповерховими дерев'яними будинками. На головній вулиці (вулиця Московська), утворені автодорогою в Кашин, розташовані дві невеликі площі. На одній з них, де до Московської вулиці примикає вулиця Старовокзальна (ведуча до залізничного вокзалу), знаходиться будівля селищної та районної адміністрації та пам'ятник Леніну. На іншій площі, де з Московською вулицею змикається вулиця Кооперативна, розташовані будівлі клубу та РУВС, а також автостанція. У селищі збереглося кілька двоповерхових дерев'яних будинків, цікавих в архітектурному плані.
Пам'ятки
Головна визначна пам'ятка Кесова Гори — Нікольска церква (1800), побудована ще в часи, коли село Нікольське не злилося з Кіасовою Горою.