A település az Árpád-kor óta létezik, először 1232-ben említik. 1332-ben Kaleuer alakban fordul elő. A tatárjárás után vár épült a környéken, de a 14. században már romként említik. A török időkben átmenetileg elnéptelenedett.
Tompa Mihály a szabadságharc leverése utáni időkben két évig élt a községben, mint a falu lelkésze. A költő barátja volt Petőfi Sándornak és Arany Jánosnak is. Itt tartózkodása idején írta a szabadságharc bukása utáni időkben, az önkényuralom idején allegorikus, a szabadság és a függetlenség eszményét hirdető verseit, többnyire Rém Elek álnéven, ami a Kelemér szó visszafelé olvasva.
A 2001-es népszámláláskor a település lakosságának 85%-a magyar, 15%-a cigány nemzetiségűnek vallotta magát.[11]
A 2011-es népszámláláson a lakosok 81,3%-a magyarnak, 0,6% bolgárnak, 6,6% cigánynak mondta magát (18,7% nem nyilatkozott; a kettős identitások miatt a végösszeg nagyobb lehet 100%-nál). A vallási megoszlás a következő volt: római katolikus 29,4%, református 35,5%, görögkatolikus 0,8%, evangélikus 0,6%, felekezeten kívüli 6% (26,6% nem válaszolt).[12]
2022-ben a lakosság 95,5%-a vallotta magát magyarnak, 14,1% cigánynak, 0,7% egyéb, nem hazai nemzetiségűnek (4,5% nem nyilatkozott; a kettős identitások miatt a végösszeg nagyobb lehet 100%-nál). Vallásuk szerint 31,5% volt római katolikus, 31,5% református, 0,7% görög katolikus, 0,7% egyéb keresztény, 11,7% felekezeten kívüli (23,2% nem válaszolt).[13]
Itt született és élete nagy részében itt gazdálkodott Putnoky Móric földbirtokos, gömöri főispán, titkos tanácsos, mintegy fél évszázadon át a térség országgyűlési képviselője.
