イェーゲンストルフ卿家はツェーリンゲン公爵家に仕えた12世紀初頭に初めて記録された[2]。ちょうどその頃、イェーゲンストルフ卿家は巨大な四角形の城を建てた[3]。元となる城はおそらく木製の壁に囲まれていたと考えられる。13世紀から14世紀の間、この木製の城は石材に差し替えられた[4]。1300年、イェーゲンストルフ卿家の絶滅が近くなる前にエルラッハ家（英語版）がイェーゲンストルフ家の領地を買収した。しかしながら、イェーゲンストルフ家の保有資産はすでに分割されており、城は14世紀もしくは15世紀までにはエルラッハ家の管理外のままであった[2][5]。政治的策略と目的が融合される中、1519年にヨハン・ヴァン・エルラッハ（Johann von Elach）が城、村、領地、およびイェーゲンストルフ家の大邸宅の統治者となった。同じ年、彼はベルン州の行政官にもなった[4]。1584年まで城はエルラッハ家のものであった。1584年、城はボンシュッテン家（Bonstetten family）に譲渡され、ボンシュッテン家は1675年まで城を維持した。それから、1720年までに城を維持したヴァッテンヴィル家（Wattenwyl family）の手に渡った[5]。1720年、アルブレヒト・フリードリヒ・ヴァン・エルラッハ（Albrecht Friedrich von Erlach）が城を買い戻した。アルブレヒト・フリードリヒ以降、城は拡張、および改装された。古い塔はバロック建築様式のタワー・ハウスに改築され、城はマナー・ハウスに改造された[2]。
18世紀になると、城はシュトゥルラー家（Stürler family）の手に渡った。1765年、アントン・ルートヴィヒ・シュトゥルラー（Anton Ludwig Stüler）は弟であるヨハン・ルドルフ・シュトゥルラー（Johann Rudolf Stürler）に売却し、ヨハン・ルドルフ・シュトゥルラーは1789年に息子のヨハン・ルドルフ（Johann Rudolf）に城を譲渡した。城はフランスによるスイス侵攻（英語版）の間に少しの損害も許すことはなかった。しかしながら、1812年にヨハン・ルドルフは財政的困窮に陥り、従兄弟であるセラウ（Serraux）のルドルフ・ガブリエル・シュトゥルラー（Rudolf Gabriel Stüler）に城を売却せざるを得なくなった。1913年から1915年にかけて、邸宅はアーサー・アルベルト・ビンセント・ヴォン・シュトゥルラー（Arthur Albert Vinzenz von Stüler）の指揮下で改修、および近代化された。1934年にアーサー・アルベルト・ビンセント・ヴォン・シュトゥルラーが亡くなった後、城は保護団体に購入された[3]。
