Sharrock stond bekend als een veelvuldig gebruiker van hevige feedback in zijn gitaarspel. Dat in combinatie met snijdende, ruwe akkoorden en vele geluiden die doen denken aan een saxofoon, terwijl hij alles met zijn eigen gitaar wist klaar te spelen. Sharrock zei ooit eens: "I'm a horn player with a really fucked up axe" en "I go out on stage, and my intention is to make the first four rows bleed from their ears."
Als tiener zong Sharrock vaak doowop. Toen hij negentien was, hoorde hij op de radio John Coltrane op het album Kind of Blue (1959) van Miles Davis. Vanaf dat moment groeide zijn belangstelling voor het bespelen van de tenorsax, maar hij kon dit niet doorzetten in verband met zijn astma. Daarna begon hij aan de elektrische gitaar.
In 1966 speelde Sharrock mee op het album van Pharoah Sanders en Alexander Solla, getiteld Tauhid. Daarnaast werkte hij meerdere keren samen met Herbie Mann en leverde hij tevens een gastbijdrage aan het album A Tribute to Jack Johnson van Miles Davis uit 1970.
Sharrock was getrouwd met Linda Sharrock, met wie hij vaak muziek opnam. Daarnaast traden ze samen geregeld op. In 1978 scheidden de twee.
