Antes de integrar os Rolling Stones, Mick Taylor tocou no John Mayall's Bluesbreakers, entre 1967 e 1969, em substituição a Peter Green, que deixou o grupo de John Mayall para formar o Fleetwood Mac em meados de 1967.
Mick Taylor tocou também com Jack Bruce (ex-Cream) e com Bob Dylan, dentre outros artistas.
Ele foi apresentado ao público como novo guitarrista dos Rolling Stones no famoso concerto ao ar livre no Hyde Park, em Londres, em julho de 1969, que acabou se tornando uma homenagem ao ex-integrante da banda Brian Jones, falecido dias antes (foi encontrado morto na piscina de sua mansão, numa ocorrência não de todo esclarecida).
Mick Taylor participou daquela que é considerada a fase mais criativa dos Rolling Stones, entre o final dos anos 1960 e primeira metade dos anos 1970.
É especialmente marcante a sua contribuição para os álbuns "Let it Bleed", "Get Yer Ya-Ya's Out", "Sticky Fingers", "Exile on Main Street", "Goat Head Soup" e "It's Only Rock'n'Roll", além de notável participação na gravação de faixas como "Honk Tonk Women", sua estréia na banda, "I Don't Know Why", "Through The Lonely Nights" e "Waiting on a Friend", esta última realizada em 1972 durante as sessões de "Goat Head Soup", mas lançada somente no álbum "Tatto You", de 1981.
Para muito além de meramente preencher a vaga deixado por Brian Jones, o trabalho de Mick Taylor foi fator essencial na evolução musical dos Rolling Stones, reforçando a sua característica como banda de rock and roll com forte presença do blues e da música negra americana de forma geral (soul, gospel, rhythm and blues, etc.), com eventual passagem por outros estilos, como a country music, que se observa em temas como "Dead Flowers" e "Torn and Frayed". Merece destaque a virtuose de Mick Taylor nos solos de guitarra das músicas dos Stones, tais como "Winter" e "100 Years Ago".
A vinda de Mick Taylor, aliás, permitiu a Keith Richards uma maior liberdade musical, principalmente para compor, em contraponto à condição de estar sempre sobrecarregado anteriormente, com a participação praticamente nula de Brian Jones nos seus últimos anos de banda, por problemas com uso excessivo de drogas. Mick Taylor, ao contrário, demonstrou vigorosa capacidade de trabalho no estúdio e nas turnês, em plena sintonia com o espírito da banda.
Deixou os Rolling Stones abruptamente em 1974, supostamente por desentendimentos com Mick Jagger e Keith Richards a respeito dos créditos em diversas composições. Alega-se, dentre outros motivos de sua saída da banda, que a composição das músicas "Sway" e "Moonlight Mile" seja fruto da parceria dele com Mick Jagger, a despeito de ter sido creditada apenas a Jagger & Richards. A única música em que lhe foi creditada a coautoria foi "Ventilador Blues". A questão da coautoria de "Time waits for no one" foi uma das últimas celeumas havidas entre Mick Taylor e os Glimmer Twins, em 1974.
Durante a sua carreira, Mick utilizou diversas guitarras, dentre as quais se destaca a Gibson Les Paul, tida como sua marca registrada. Mas ele usou também Gibson SG, especialmente no início da sua carreira nos Stones, Gibson ES-355, sobretudo nos álbuns "Sticky Fingers" e "Exile on Main Street", e esporadicamente Fenders Stratocaster e Telecaster.
No período em que esteve nos Rolling Stones, Mick Taylor tocou eventualmente contra-baixo, em substituição ao baixista Bill Wyman, na sua ausência no estúdio ou quando este se dedicava a outro instrumento nas gravações, e em inúmeras gravações contribuiu com seu talento no violão.
Foi alçado ao Hall of Fame em 1989, junto com os demais Rolling Stones.
Em novembro de 2012, Mick Taylor subiu ao palco mais uma vez com os Rolling Stones, tocando guitarra em uma versão de 12 minutos de Midnight Rambler como convidado da sua ex-banda em um show em Londres.
Discografia com os The Rolling Stones
1969: Through the Past, Darkly (Big Hits Vol. 2) (Coletânea)
Taylor toca em "Honky Tonk Women"
1969: Let It Bleed
Taylor toca "Country Honk" e "Live With Me"
1970: Get Yer Ya-Ya's Out!
1971: Sticky Fingers
1972: Exile on Main Street
1973: Goats Head Soup
1974: It's Only Rock 'n' Roll
1975: Made in the Shade (Coletânea de hits 1971-1974)
1975: Metamorphosis
Taylor toca em "I Don't Know Why" e "Jiving Sister Fanny"
1981: Tattoo You
Taylor toca em "Tops" e "Waiting on a Friend", gravados em 1972 durante as gravações de Goats Head Soup
2005: Rarities 1971-2003
Taylor toca "Let It Rock" (ao vivo 1971) e "Through The Lonely Nights" (1974)
Discografia solo
1979: Mick Taylor
1990: Stranger in This Town
1991: Too Hot for Snakes (Carla Olson & Mick Taylor)