Im Jahr 1830 zog John Davis mit seinen Eltern in das Macon County. Dort besuchte er die öffentlichen Schulen. Danach absolvierte er die Springfield Academy und das Illinois College in Jacksonville. Anschließend begann er in Decatur in der Land- und Gartenbauwirtschaft tätig zu werden. Im Jahr 1872 zog er nach Kansas, wo er sich auf einer Farm in der Nähe von Junction City niederließ. Davis war über viele Jahre Sekretär der dortigen Gartenbaugesellschaft (Central Kansas Horticultural Society). Im Jahr 1873 wurde er zum Präsidenten der ersten Farmer-Versammlung von Kansas gewählt. Daraus entstand dann eine Farmerbewegung, die in den 1880er Jahren in der kurzlebigen Populist Party aufging. Im Jahr 1875 wurde er Eigentümer und Herausgeber der Zeitung „Junction City Tribune“.
Politisch war Davis ein Gegner der Sklaverei und ein Anhänger der Republikanischen Partei sowie seines Nachbarn aus Illinois, Abraham Lincoln. Später schloss er sich der ebenfalls kurzlebigen Greenback Party an, als deren Kandidat er in den Jahren 1880 und 1882 jeweils erfolglos für den Kongress kandidierte. Danach wurde er Mitglied der Populist Party. 1890 wurde er als deren Kandidat staatsweit für den fünften Abgeordnetensitz in das US-Repräsentantenhaus in Washington, D.C. gewählt, wo er am 3. März 1891 die Nachfolge von John Alexander Anderson antrat. Bei den Wahlen des Jahres 1892 wurde in Kansas nach Wahlbezirken abgestimmt und Davis wurde im fünften Distrikt wiedergewählt. Dadurch konnte er bis zum 3. März 1895 zwei Legislaturperioden im Kongress absolvieren. Dort setzte er sich für das bundesweite Frauenwahlrecht ein. Bei den Wahlen des Jahres 1894 unterlag er dem Republikaner William A. Calderhead.
Nach dem Ende seiner Zeit im Kongress zog sich John Davis aus der Politik zurück und befasste sich mit literarischen Angelegenheiten. Er starb am 1. August 1901 in Topeka, der Hauptstadt von Kansas, wo er auch beigesetzt wurde.
