Es wird davon ausgegangen, dass die Burg Stubenberg noch in der Stauferzeit als Sitz einer staufischen Ministerialenfamilie errichtet wurde. Eine Adelsfamilie ist von 1319 bis zum Ende des 14. Jahrhunderts zu belegen. Ihr gehörte der Lorcher Abt Ludwig von Stubenberg 1333–1371 († 1374) an.[1]
Der Hof Stubenberg (bzw. Gingerhof) ist ab 1365 als Besitz der Herren von Rechberg bezeugt. 1461 wurde Hans Ginger von der Weißensteiner Linie der Rechberger mit ihm als Erblehen belehnt. Wolf von Rechenberg zu Hohenrechberg veräußerte schließlich den Hof Stubenberg sowie den Ort Bargau als auch die Burg Bargau an die Stadt Schwäbisch Gmünd.
Die zwei Halsgräben des langgestreckten, schmalen Burgareals, welche die Burganlage in drei Erhebungen teilte, sind noch erhalten.
Günter Schmitt: Burgenführer Schwäbische Alb, Band 1 – Nordost-Alb: Wandern und entdecken zwischen Aalen und Aichelberg. Biberacher Verlagsdruckerei, Biberach an der Riß 1988, ISBN 3-924489-39-4, S. 37–42 (fehlerhaft).
