Kooli ajalugu loetakse alates 1898. aastal tegevust alustanud Johan UmbliaTallinna Väikelastehoiu Seltsi 1-klassilisest erakoolist[1], mille õpetajaks tuli 1903. aastal Jakob Westholm. 1905. aastal sai temast kooli juhataja ning 1907. aastal sai ta loa asutada III järgu erakool.
1913. aastal valmis koolimaja Kevade 4. Jakob Westholmi soov täitus 1923. aastal, kui kool sai nime Jakob Westholmi Poeglaste Õigustega Erahumanitaargümnaasium. Selle vormimütsiks sai musta randiga kirsipunanetekkel ja märgiks kuldne tammetõru, mis hiljem paigutati kolmnurga sisse. Kooli vilistlaskogu asutati 1927. aastal. Kooli deviis on "Per aspera ad astra".
1940. aastal valmis uus, Baltikumi moodsaim koolimaja Kevade 8. 1. augustist 1940 J. Westholmi eragümnaasiumi eraalgkool likvideeriti[2] ning gümnaasiumiosa ja kaks vanemat progümnaasiumi klassi ühendati likvideeritud Tallinna Prantsuse Lütseumi progümnaasiumiga Tallinna 7. Keskkooliks. Vastvalminud majja asutati uus algkool. 1946. aastal paigutati sellesse majja Tallinna 22. Keskkool, mille viimane poistekooli lend lõpetas 1954. aastal ning kool muudeti segakooliks.
1964. aastal loodi esimene muusika süvaõppeklass Nõukogude Liidus, mis töötas Zoltán Kodály metoodika alusel. 1965. aastal alustas esimene keskkooli muusika süvaõppeklass. Koolis on alati olnud edukad koorid, kooli segakoor Kevade ühines segakooriga Noorus 1976. aastal.
Koolis on antud ka filmiõpet ning 1997. aastal pandi alus inglise keele süvaõppele. Tallinna 22. Keskkool sai Jakob Westholmi nime tagasi 1989. aastal ning nime Jakob Westholmi Gümnaasium 1996. aastal. Vilistlased Roman Toi ja Jaan Kross lõid kooli hümni "Üks kool" 1998. aastal.
2004. aastal kolisid algklassid koolihoonesse Luise 38, gümnaasiumihoone asub Kevade tänav 8.