Com molts altres músics d'èxit de Chicago, va estudiar música a la DuSable High School baix Walter Dyett, començant a tocar el clarinet abans de passar-se a l'oboè, saxo alt i, finalment, després de treballar en l'orquestra de Lionel Hampton, al saxo tenor juntament amb Arnett Cobb. Quan estava en l'institut, als 15 anys va arribar a tocar amb T-Bone Walker en un grup liderat pel germà de Walker.
Va treballar a l'Orquestra de Lionel Hampton (sent la seua primera aparició a Los Angeles en un enregistrament de 1945 als 17 anys), i la va abandonar per a unir-se a l'orquestra d'un col·lega de Hampton, el trompetista Joe Morris de 1947 a 1949. Va tocar amb els Messengers d'Art Blakey durant uns mesos de 1957, i en el sextet i quartet de Thelonious Monk el 1958. Durant aquesta etapa, va enregistrar un interessant treball amb Clark Terry en "Serenade to Bus Seat" acompanyant al trio Wynton Kelly, Paul Chambers i Joe Philly Jones. Va tornar a treballar amb Monk en el seu octau i nonet el 1967. Va enregistrar també amb el quintet de Nat Adderley el 1958 i altra vegada el 1978.
Com a líder de la seua pròpia orquestra, el seu enregistrament per a Blue Note de 1956Introducing Johnny Griffin, que va comptar amb Wynton Kelly al piano, Curly Russell al contrabaix i Max Roach a la bateria, li va proporcionar grans elogis per part de la crítica. Considerant que ja havia arribat a l'èxit en Estats Units, especialment amb el seu disc també para Blue Note de 1957 A Blowing Session amb la col·laboració de John Coltrane, es va traslladar a Europa.
A part d'aparèixer de forma regular a títol individual en clubs de jazz com el londinenc Ronnie Scott's, Griffin es va convertir en la "first choice" per al saxofon de qualsevol músic nord-americà que anara de gira al continent durant els anys seixanta i setanta.
