Die Burg war die Stammburg der Herren von Gromberg (urkundlich 1235 bis 1518 erwähnt), die im frühen Mittelalter als Gefolgsleute der Staufer, später der Grafen von Oettingen umfangreichen Besitz unterhalb der Kapfenburg, auf dem Härtsfeld und im Nördlinger Ries hatten.[1] Dazu zählten mehrere Burganlagen sowie Patronatsrechte der Kirche Lauchheim mit zugehörigen Kaplaneien Westhausen, Lippach und Westerhofen sowie der Kirche in Waldhausen.[1] Eberhard von Gromberg („Gruwenberg“) wurde um 1250 als Burgmann der Kapfenburg erwähnt. Ebenfalls ein Eberhard von Gromberg wurde 1359 als Besitzer der Burg Schönberg erwähnt.
