Taylor började som caddie och banarbetare på Westward Ho!. Han var greenkeeper och professional på olika klubbar tills han slutligen kom till Royal Mid Surrey Golf Club1899 där han stannade tills han drog sig tillbaka från golfen 1946.
Han debuterade i The Open 1893 och tog sin första Openseger 1894 som den förste icke skotske professionelle spelaren. Han tävlade i US Open1900 där han kom tvåa efter Harry Vardon. Han vann French Open två gånger och German Open en gång.
Taylor var en av grundarna och den förste ordföranden i Professional Golfers Association, PGA. Bernard Darwin skrev att Taylor hade skapat en oansvarig organisation till en respektingivande samling män.