John Arnold besuchte die öffentlichen Schulen in Pittsburgh. Seit Oktober 1885 lebte er in Columbus, wo er als Mechaniker für die Eisenbahn arbeitete. Außerdem war er in der Holzbranche und später im Ölgeschäft tätig. Nach einem anschließenden Jurastudium und seiner 1894 erfolgten Zulassung als Rechtsanwalt begann er in diesem Beruf zu praktizieren. Politisch schloss er sich der Republikanischen Partei an. Er war ein Anhänger der Gewerkschaften und für eine Einreisebeschränkung in die Vereinigten Staaten.
1914 wurde Arnold an der Seite von Frank B. Willis zum Vizegouverneur von Ohio gewählt. Dieses Amt bekleidete er zwischen 1915 und 1917. Dabei war er Stellvertreter des Gouverneurs und Vorsitzender des Staatssenats. Nach seiner Zeit als Vizegouverneur trat Arnold politisch nicht mehr in Erscheinung. Er war Mitglied mehrerer Organisationen und Vereinigungen, darunter die Freimaurer und die Knights of Pythias.
