Elihu Williams besuchte die öffentlichen Schulen seiner Heimat und danach für zwei Jahre das Antioch College in Yellow Springs. Nach einem anschließenden Jurastudium und seiner 1861 erfolgten Zulassung als Rechtsanwalt begann er in diesem Beruf zu arbeiten. Seit Oktober 1861 nahm er als Soldat im Heer der Union am Bürgerkrieg teil. Dabei brachte er es bis zum Hauptmann. Seit September 1863 war er Kommandeur der Besatzungstruppen in Carthage (Tennessee). Er blieb auch nach dem Krieg zunächst in Tennessee und fungierte zwischen 1865 und 1867 als Bezirksstaatsanwalt im dortigen sechsten Gerichtsbezirk. Zwischen 1867 und 1869 war er als Mitglied der Republikanischen Partei Abgeordneter im Repräsentantenhaus von Tennessee. Außerdem war er als Rechtsanwalt und in der Landwirtschaft tätig. Im Jahr 1875 zog er nach Troy in Ohio, wo er als Anwalt praktizierte und eine lokale Zeitung herausgab.
Bei den Kongresswahlen des Jahres 1886 wurde Williams im dritten Wahlbezirk von Ohio in das US-Repräsentantenhaus in Washington, D.C. gewählt, wo er am 4. März 1887 die Nachfolge des DemokratenJames E. Campbell antrat. Nach einer Wiederwahl konnte er bis zum 3. März 1891 zwei Legislaturperioden im Kongress absolvieren. Nach seiner Zeit im US-Repräsentantenhaus arbeitete Williams wieder als Anwalt. Er starb am 1. Dezember 1903 in Troy, wo er auch beigesetzt wurde.
