Autodidacte à la batterie, il commence à se produire à Los Angeles au milieu des années 1940. Sa batterie est enregistrée dans «The Hunt», l'enregistrement d'une célèbre jam session de Los Angeles mettant en vedette les ténors en duel de Dexter Gordon et Wardell Gray le 6 juillet 1947. Il enregistre avec le quintette de Lester Young de 1949 à 1955 et avec Stan Getz, Coleman Hawkins, Charlie Parker et Miles Davis.
Kay fait des sessions de R & B pour «Atlantic Records» du début au milieu des années 1950 et il a été présenté sur des disques à succès tels que «Shake», «Rattle and Roll» par Big Joe Turner et Ruth Brown «Mama He Treats Your Daughter Mean».
Kay rejoint le «Modern Jazz Quartet» en 1955, remplaçant le batteur original Kenny Clarke. Il est resté pendant la dissolution du groupe en 1974 et des réunions occasionnelles dans les années 1990. En plus de ses compatriotes du MJQ, il a eu un partenariat durable avec l'alto de jazz cool Paul Desmond pendant la première moitié des années 1960.
Il joue de la batterie sur plusieurs albums de l'irlandais Van Morrison : «Astral Weeks» (1968) et quatre chansons sur l'album «Tupelo Honey» (1971).
Kay était connu pour incorporer des instruments de percussion aux côtés de son kit de batterie, tels que des timbales, des petites cymbales, des triangles, des clochers et des darbukas, ces derniers étant appelés tambours «exotiques» dans un article de 2006.
