Byggnaden ligger mellan Residensgatan och Vallgatan och har sin huvudfasad söderut mot Per Brahegymnasiets skolgård.
Gymnastikhuset ritades av Johan Fredrik Åbom i italiensk renässansstil och togs i bruk 1881. Det inrymde förutom gymnastiksal också lärosalar för läroverket. Byggnaden är uppförd i tegel i två våningar med flackt valmat tak. Fasaderna har gulmålad puts med ljusgrå pilastrar och andra detaljer.
Inga Lena Ångström-Grandien: Gymnastikens glömda rum – 1800-talets gymnastikhus, Överintendentsämbetet och Johan Fredrik Åboms gymnastikhus i Jönköping, i Idrott, historia och samhälle, 2004, ISSN 0280-2775, sidorna 66-95