طبق گفته اهالی روستای چاه‌کور در این قلعه قدیمی قومی بنام گبرها که بسیار ثروتمند بوده‌اند زندگی می‌کرده‌اند که هنوز دیوارهای قلعه و بقایای آن موجود است و طبق شواهد فعلی و ظاهری دژی محکم در برابر تهاجمات دشمنان بوده است.
می‌گویند بعد از حمله اعراب به ایران در زمان ساسانیان این قوم از این مکان مهاجرت کرده‌اند. این قوم برای ساختن دیوارهای قلعه از مصالحی محکم بنام ساروج استفاده می‌کرده‌اند. بعد از مهاجرت این قوم گویا قلعه بر اثر زمین لرزه فرو ریخته است.
