John J. Pershings foreldre var forretningsmannen John Fletcher Pershing og Ann Elizabeth Thompson, husmor. Pershings tippoldefar, Frederick Pershing, som opprinnelig het Pfersching, hadde innvandret fra Elsass med skipet «Jacob» fra Amsterdam med ankomst i Philadelphia 2. oktober 1749.[trenger referanse] Pershings mor var av engelsk slektsbakgrunn. John var den eldste av en søskenflokk på seks barn. Da borgerkrigen begynte støttet faren Unionen og var marketenter for 18th Missouri Volunteer Infantry.
Pershing fikk sin første skoleutdannelse i Laclede på en skole for lovende barn av prominente borgere. Etter high school i 1878 ble han lærer for afroamerikanske barn. Samtidig med lærergjerningen studerte han ved lærerskolen i Kirksville og tok i 1880 en bachelor of science-grad i didaktikk.[10][11]
Etter utdannelsen på West Point ble han sendt til New Mexico og tildelt 6. kavaleriregiment, som blant annet deltok i indianerkrigene. Fra 1891 til 1895 underviste Pershing i militærteknikk ved University of Nebraska i Lincoln. Deretter kom han til 10. kavaleriregiment, der han ledet svarte soldater. Det er fra denne tiden han fikk tilnavnet «Black Jack».[trenger referanse]
I 1897 ble Pershing militærtaktikkinstruktør ved West Point, der han ble heller dårlig likt av kadettene for sine strenge metoder.[trenger referanse] Under den spansk-amerikanske krig tjenestegjorde han på Cuba.
I 1899 ble han satt inn mot forskjellige motstandsgrupper på Filippinene.
I 1905 ble han USAs militærattaché i Tokyo. Etter at han hadde vært observatør under den russisk-japanske krig, vendte han i 1909 tilbake til Filippinene der han ble guvernør for Moro Province sør i øygruppen. Her var han i fire år.
I desember 1913 fikk han i oppdrag å overta ledelsen av 8. US-infanteribrigade i Presidio i San Francisco. I 1916 fikk han kommandoen over straffeekspedisjonen som ble sendt for å gå fatt i den meksikanske revolusjonære Pancho Villa, som tidligere samme år angrep med 1500 meksikanere over den amerikanske grense i protest mot at USA hadde anerkjent Venustiano Carranzas nydannede regjering. Mens han var i Mexico omkom hans kone og tre døtre i en husbrann; sønnen Warren overlevde den.
Da han ankom Frankrike, fant han ut at Ententen hadde til hensikt å sende de amerikanske styrkene til fronten med det samme. Pershing gikk ikke med på det. Han ville først stille opp med en godt forberedt enhet som hadde egenstendig ansvarsområde og ledelse.[trenger referanse] Han kunne så i 1918 sette inn 500.000 soldater i de første større operasjoner på de vesteuropeiske slagmarkene, og etterhvert ble styrkene forsterket. Pershings soldater fikk sine første erfaringer med større kamphandlinger ved Cantigny, Château-Thierry, Bois Belleau og Soissons. Pershing ledet offensiver ved Saint-Mihiel og i Argonnene, som bidra til at tyskerne i løpet av sommeren ble drevet tilbake fra områdene de hadde erobret siden våren.
Kort etter krigen ble Pershing utsatt for kritikk for at han på krigens siste dag hadde tillatt et planlagt angrep på de tyske stillinger, selv om det allerede var avtalt at våpenstillstand skulle inntre kl. 11 den 11. november 1918.[trenger referanse] Det var dermed ingen gevinst i dette angrepet, og de erobrede områder ble senere gikk tilbake til tyskerne. Han måtte svare for sin beslutning for en undersøkelseskommisjon av høyere offiserer. Under utspørringen bemerket en offiser: «De var som et barn som hadde fått leketøy å leke med, og som visste at de en dag måtte gi dem fra seg igjen. Altså lekte de med dem helt til aller siste dag.»[trenger referanse] Men ettersom Pershing var omgitt av en viss heltemytos, fikk ikke denne undersøkelsen noen egentlige konsekvenser for ham.[12]
Pershing var stasjonert i Trier i Tyskland frem til de amerikanske styrkene ble avløst av franske ut i 1919.
Etter verdenskrigen ble han nevnt som en mulig republikansk presidentkandidat ved presidentvalget i 1920.[trenger referanse] Ettersom han ikke hadde noen sterk lyst til dette vervet, og han uansett av flere innflytelsesrike partimedlemmer ble ansett for å stå demokratene for nær,[trenger referanse] ble til slutt Warren G. Harding nominert. Pershing fortsatte på sin militære karriere.
General Pershing, som da var firestjerners general, ble den 3. september 1919 den eneste offiser som «i levende live» som noensinne (2019) ble forfremmet til den høyeste mulige grad i United States Army — General of the Armies.[15] Det er kun én annen offiser i USAs historie som har hatt samme grad, George Washington. I 1921 ble han Chief of Staff of the Army etter Peyton C. March. Han forble i tjeneste til 1924.
I 1931 publiserte han boken My Experience on the World War, som i 1932 gav ham «Pulitzerprisen for historie». Den 7. august 1946 mottok han Kongressens gullmedalje.
General Pershings kjente sitat «Time will not dim the glory of their deeds» er å finne på en av veggene i det nye besøkssenteret på den amerikanske kirkegården ved Omaha Beach i Normandie.[16]