El 1163 es va fundar l'església de la Nativitat i llavors era una petita vila protegida a la vora d'un castell (Castell de Tèrme) a la comarca del Termenès. Llavors pertanyia als germans Ramon i Guillem de Tèrme, senyors de la regió. Fou destruïda el 1210 pels croats de Simó IV de Montfort[1] però es va reconstruir.
Al segle xiii fou capital del districte judicial del Termenès que va durar fins al segle xvii en què es va traslladar a Félines-Termenès. En aquesta època es va fundar una altra església, l'església de Sant Andreu, on es va instal·lar el cementiri el 1673. La vila té dos molins, el de la Vila i el de La Buada, a l'esquerra del riu Sou. Entre La Buada i la vila, la carretera travessa la Garganta de Termenet, tallada pel riu Sòu. Al sud de la vila hi ha una altra gorga, les Gargantas de Caunapont (Pont de la Cova). Característica de la regió és la poda d'arbres en formes especials (esfèrics, cúbics, etc.) costum que es va iniciar cap al 1900.