John Glover war der Onkel des Kongressabgeordneten John Milton Glover (1852–1929). Er besuchte die öffentlichen Schulen seiner Heimat in Kentucky und in Missouri, wohin er 1836 mit seinen Eltern gezogen war. Nach einem anschließenden Jurastudium und seiner Zulassung als Rechtsanwalt begann er in St. Louis in diesem Beruf zu arbeiten. Im Jahr 1850 zog er vorübergehend nach Kalifornien, wo er ebenfalls als Anwalt praktizierte. 1855 kehrte er in das Knox County in Missouri zurück. Während des Bürgerkrieges war er zwischen September 1861 und Februar 1864 Oberst einer Freiwilligen-Kavallerieeinheit aus Missouri. Danach musste er aus gesundheitlichen Gründen den Militärdienst quittieren. Von Dezember 1866 bis März 1867 leitete er die Steuerbehörde im dritten Finanzdistrikt seines Staates.
Politisch war Glover Mitglied der Demokratischen Partei. Bei den Kongresswahlen des Jahres 1872 wurde er im damals neu geschaffenen zwölften Wahlbezirk von Missouri in das US-Repräsentantenhaus in Washington, D.C. gewählt, wo er am 4. März 1873 sein neues Mandat antrat. Nach zwei Wiederwahlen konnte er bis zum 3. März 1879 drei Legislaturperioden im Kongress absolvieren. Ab 1877 war er Vorsitzender des Ausschusses zur Kontrolle der Ausgaben des Finanzministeriums.
1878 wurde Glover von seiner Partei nicht mehr zur Wiederwahl nominiert. Nach seinem Ausscheiden aus dem US-Repräsentantenhaus zog er sich aus der Politik zurück. In den folgenden Jahren arbeitete er in der Landwirtschaft. Er starb am 15. November 1891 auf seiner Farm nahe Newark.
