Les origines du château remontent à celles d'un fief du XIe siècle, situé à proximité de la ville, et nommé Rabanisça ou encore Rabanessa en ancien occitan[2]. Il s'agissait d'un domaine agricole fortifié qui appartenait à un gentilhomme ou à une communauté religieuse. Il servait à l'approvisionnement de la cité en denrées alimentaires mais aussi à sa défense car sa situation lui permettait de donner l'alerte en cas d'attaque surprise[3].
La tour carrée date probablement du XVe siècle, elle renferme un escalier à vis. Le bâtiment principal est rectangulaire, il a deux étages et a abrité un moulin meunier à roue dans le passé (la Tiretaine coulait à cet endroit). Les ouvertures sont irrégulières et ont dû être percées au XVIIe ou XVIIIe siècle.
Porte de la tour.
Entre 1874 et 1911 le bâtiment est devenu une station météorologique de plaine, la tour a été rehaussée et aménagée en terrasse pour accueillir les instruments de mesure. Reliée à l'Observatoire du Puy de Dôme par une ligne télégraphique, la station échangeait les observations des deux stations avec celles de l'Observatoire de Paris, et abritait aussi le siège et les bureaux de l'observatoire (le logis principal a servi successivement de bureau télégraphique, de laboratoire photographique et de bibliothèque).
Au début du XXIe siècle le bâtiment était encore en état d’abandon, il a été restauré lors de la rénovation du quartier Kessler-Rabanesse[1],[4].
Le château est la propriété d'un établissement public départemental.