James Taylor lärde sig först spela cello som barn i Carrboro (nära Chapel Hill), och bytte till gitarr 1960. Hans stil på det instrumentet utvecklades genom att lyssna till hymner, carols och Woody Guthrie. Han studerade vid Milton Academy, en förberedande skola i Massachusetts, och tillbringade somrarna vid Martha's Vineyard, där han mötte Danny Kortchmar. De två började spela folkmusik ihop. Efter att ha lämnat skolan bildade han ett band vid namn The Fabulous Corsairs med sin bror Alex. Senare togs han in på mentalsjukhus för depression. Han fick ett high school-diplom på sjukhuset, och lämnade det sedan och bildade ett band vid namn Flying Machine med Kortchmar och Joel O'Brien i New York. Bandet hade skivkontrakt med Rainy Day Records och släppte en singel, "Brighten Your Night with My Day" (B-sida: "Night Owl"). Singeln var ingen framgång. (En brittisk grupp med samma namn dök upp 1969 och hade en hit med "Smile a Little Smile for Me".)
James Taylor, PR-foto från tidigt 1970-tal.
Då han bodde i New York blev James Taylor beroende av heroin. En kväll, efter att ha fått desperata telefonsamtal, for hans far till New York och räddade honom. Taylor skrev senare sången "Jump Up Behind Me", som hyllade hans far under en tid av desperat hjälpbehov. Sången handlar också om James Taylors minnen av den långa resan från New York tillbaka till hemmet i Chapel Hill.
1969 var det år som The Beatles splittrades på grund av personliga, musikaliska och ekonomiska konflikter. Den nye managern Allen Klein, som Paul McCartney aldrig skrev på kontraktet med, vidtog olika åtgärder för att rädda gruppens och dess bolags ekonomi. Bland annat sparkade han Peter Asher som producent på skivbolaget Apple. Detta ledde till att James Taylor följde med Asher till hans nya skivbolag Warner Brothers. Av denna anledning var det länge svårt att få tag på Taylors första LP, medan den andra LP:n Sweet Baby James och senare skivor varit betydligt lättare att hitta i handeln.
Hans Greatest Hits 1976 sålde diamant och har sålt mer än elva miljoner exemplar. Han har behållit en stor publik även under 1990-talet och början av 2000-talet, då några av hans bäst säljande och mest prisade album släpptes.
Taylor är bror till syskonen Alex Taylor, Kate Taylor och Livingston Taylor, som alla var för sig har spelat in album. Livingston är fortfarande aktiv musiker. Kate var aktiv på 1970-talet, men spelade även in ett album 2003. Alex avled 1993. James Taylors barn med Carly Simon, Ben och Sally, har båda startat sina karriärer som musiker.
