John Mitchell besuchte die öffentlichen Schulen und erhielt auch Privatunterricht. Von 1857 bis 1859 studierte er an der University of Lewisburg, der späteren Bucknell University; danach arbeitete er bis 1861 als Lehrer. Nach Ausbruch des Bürgerkrieges trat er der Unionsarmee bei und diente zunächst als Lieutenant; später wurde er Captain des 136. Freiwilligenregiments der Infanterie aus Pennsylvania.
Später studierte Mitchell die Rechte, wurde 1864 in die Anwaltskammer aufgenommen und begann im Tioga County zu praktizieren. Dort fungierte er von 1868 bis 1871 auch als Bezirksstaatsanwalt. Im Jahr 1870 war er als Redakteur des Tioga County Agitator tätig.
Politiker und Richter
Die politische Laufbahn von John Mitchell begann mit der Mitgliedschaft im Repräsentantenhaus von Pennsylvania zwischen 1872 und 1876. Danach wurde er ins US-Repräsentantenhaus gewählt, dem er vom 4. März 1877 bis zum 3. März 1881 angehörte; unmittelbar danach wechselte er in den US-Senat und verblieb dort bis zum 3. März 1887. In dieser Zeit war er unter anderem Vorsitzender des Ausschusses für den Mississippi River.
Nach seinem Ausscheiden aus dem Kongress war John Mitchell als Richter tätig. Er gehörte dem Court of Common Pleas des 4. Distrikts von Pennsylvania zwischen 1888 und 1899 an, ehe er für eine Amtsperiode an den Obersten Gerichtshof des Bundesstaates berufen wurde.
