Taylor wurde in Nelson Township geboren. Dort besuchte er die Schule. Nach der Schulzeit studierte er Jura und wurde als Rechtsanwalt zugelassen. Ab 1845 war er als Rechtsanwalt tätig. Von 1854 bis 1861 war er als Staatsanwalt in Warren tätig. Während des Sezessionskrieges kämpfte er auf Seiten der Nordstaaten. Zwischen 1877 und 1880 war er als Richter in Ohio tätig.
Nach der Wahl von James A. Garfield zum US-Präsidenten wurde Taylor in einer Special Election zu seinem Nachfolger im US-Repräsentantenhaus gewählt. Insgesamt 6-mal wurde Taylor wiedergewählt. Von 1889 bis 1891 war er Chairman (dt. Vorsitzender) des United States House Committee on the Judiciary. 1893 schied er dann aus dem House aus. Fortan war er wieder als Rechtsanwalt tätig. Taylor starb 1912 in seiner Heimatstadt Warren. Er wurde auf dem Oakwood Cemetery beigesetzt.
Taylor war mit Harriet M. Frazier verheiratet. Gemeinsam hatten beide zwei Kinder, eine Tochter und einen Sohn.
