John Little besuchte die öffentlichen Schulen seiner Heimat und danach bis 1862 das Antioch College in Yellow Springs. Nach einem anschließenden Jurastudium und seiner 1865 erfolgten Zulassung als Rechtsanwalt begann er in Xenia in diesem Beruf zu arbeiten. Gleichzeitig schlug er als Mitglied der Republikanischen Partei eine politische Laufbahn ein. Von 1864 und 1866 war er Bürgermeister von Xenia; zwischen 1866 und 1870 amtierte er als Staatsanwalt im Greene County. Von 1869 bis 1873 saß er im Repräsentantenhaus von Ohio. Danach übte er bis 1877 als Nachfolger von Francis Bates Pond das Amt des Attorney General seines Staates aus.
Bei den Kongresswahlen des Jahres 1884 wurde Little im achten Wahlbezirk von Ohio in das US-Repräsentantenhaus in Washington, D.C. gewählt, wo er am 4. März 1885 die Nachfolge von J. Warren Keifer antrat. Da er im Jahr 1886 sehr knapp die Wiederwahl verfehlte, konnte er bis zum 3. März 1887 nur eine Legislaturperiode im Kongress absolvieren.
Nach dem Ende seiner Zeit im US-Repräsentantenhaus praktizierte John Little wieder als Anwalt. Im Jahr 1889 wurde er von PräsidentBenjamin Harrison zum Vorsitzenden der United States and Venezuela Claims Commission ernannt. Außerdem war er Mitglied der staatlichen Schiedsstelle und von 1880 bis 1900 Kurator des Antioch College. Er starb am 18. Oktober 1900 in Xenia, wo er auch beigesetzt wurde.
.jpg)
