Alfred Taylor, der Sohn des Kongressabgeordneten Nathaniel Green Taylor (1819–1887), besuchte unter anderem das Buffalo Institute, das heutige Milligan College. Anschließend studierte er Jura und wurde 1874 als Rechtsanwalt zugelassen. Zunächst praktizierte er in Jonesboro und später in Johnson City als Rechtsanwalt.
Im Gegensatz zu seinem Bruder Robert gehörte Alfred den Republikanern an. Für diese Partei wurde er 1874 in das Repräsentantenhaus von Tennessee gewählt. 1886 nominierte ihn seine Partei als ihren Kandidaten für die anstehende Gouverneurswahl. Sein demokratischer Gegenkandidat war ausgerechnet sein Bruder Robert. Der nun folgende Wahlkampf ging als die Tennessee-Version der englischen Rosenkriege in die Geschichte des Staates ein. Tatsächlich trugen die Anhänger beider Parteien eine weiße bzw. eine rote Rose, ganz wie die beiden streitenden Parteien im England des 15. Jahrhunderts. Die Wahl von 1886 konnte Robert für sich entscheiden. Alfred wurde aber 1888 ins Repräsentantenhaus der Vereinigten Staaten gewählt. Im Kongress unterstützte er das sogenannte McKinley-Tariff-Gesetz. Außerdem unterstützte er eine Gesetzesvorlage zum Schutz des Wahlrechts für Afroamerikaner. Nach dem Ende seiner dritten Legislaturperiode im Kongress startete er mit seinem Bruder eine neue Karriere als Gastredner bei verschiedenen Veranstaltungen. Außerdem war er immer noch als Anwalt tätig.
Gouverneur von Tennessee
1920, acht Jahre nach dem Tod seines Bruders, wurde er noch einmal für das Amt des Gouverneurs von Tennessee nominiert. Zu diesem Zeitpunkt war Alfred Taylor bereits 72 Jahre alt. Trotzdem fiel es ihm nicht schwer, die Wahl zu gewinnen, weil die Demokraten über die Politik von Gouverneur Albert H. Roberts zerstritten waren. Bei diesen Wahlen konnten in Tennessee erstmals auch Frauen abstimmen. Als Gouverneur setzte er sich für eine Reform des umstrittenen Steuerrechts ein und erweiterte die Befugnisse des staatlichen Eisenbahnausschusses. Weitergehende Reformen wurden vom Parlament blockiert. Bemerkenswert ist sein erfolgreicher Einsatz für die Umwandlung einer für den Ersten Weltkrieg errichteten Nitrat Fabrik am Tennessee River in ein elektrisches Kraftwerk. Die Fabrik lag zwar knapp außerhalb der Grenzen Tennessees in Muscle Shoals, Alabama; die erzeugte Energie kam aber der gesamten Region zugute. Dieses Projekt gilt als Vorläufer des TVA-Projekts unter Präsident Franklin D. Roosevelt über zehn Jahre später.
Lebensabend und Tod
1922 unterlag Alfred Taylor dem demokratischen Kandidaten Austin Peay. Bis 1971 blieb er der letzte republikanische Gouverneur von Tennessee. Er hält außerdem bis heute den Altersrekord der Gouverneure von Tennessee. Nach dem Ende seiner einzigen Amtszeit zog er sich nach Johnson City zurück, wo er 1931 verstarb. Er war mit Jennie Anderson verheiratet, mit der er zehn Kinder hatte.
