Urodził się w Kemper County, gdzie uczęszczał do miejscowych szkół publicznych. Następnie kontynuował naukę na Mississippi State University (ukończył w 1923) oraz na wydziale prawa prestiżowego University of Virginia (ukończył w 1928). W tym samym roku został przyjęty do palestry i rozpoczął własną praktykę prawniczą w De Kalb (Missisipi).
Wczesna kariera polityczna
Jeszcze w czasie, kiedy przebywał na uniwersytecie, został wybrany do stanowej Izby Reprezentantów w Missisipi, gdzie zasiadał w latach 1928–1932.
W czasie swej kariery jako prokuratora Stennis prowadził śledztwo w sprawie morderstwa, w wyniku której stracono przez powieszenie trzech Afroamerykanów. Przyznanie się do winy zostało z nich wydobyte za pomocą tortur, co było wówczas w tej części kraju najzupełniej legalną praktyką. Wyrok został jednak post factum anulowany przez Sąd Najwyższy Stanów Zjednoczonych w sprawie Brown v. Mississippi (1936), na mocy której zakazano dalszego stosowania tortur w śledztwie. Stennis był wówczas w pełni świadom, co wykazały stenogramy z procesu, użytych przez śledczych metod, w tym biczowania.
Kiedy zmarł dotychczas reprezentujący Missisipi w Senacie Theodore Bilbo, musiano siłą rzeczy rozpisać przedterminowe wybory. Stanął do nich sędzia Stennis, który pokonał w prawyborach trzech kontrkandydatów (m.in. dwóch kongresmenów, którymi byli John E. Rankin oraz William M. Colmer).
Nadmienić trzeba, iż przez wiele lat w stanach Głębokiego Południa, do których należy Missisipi, właściwymi wyborami były prawybory, z uwagi na zupełną dominację Partii Demokratycznej, a raczej jej konserwatywno-segregacyjnego (m.in. Dixiecratów) skrzydła.
Stennis był autorem pierwszego w historii Senatu kodeksu etyki obowiązującego w tej izbie, a także pierwszym przewodniczącym stosownego komitetu.
Jako pierwszych z demokratycznych senatorów potępił publicznie działania Josepha McCarthy’ego, podczas gdy np. Eastland popierał go do samego końca.
„Ojciec nowoczesnej amerykańskiej marynarki wojennej”
W latach 1969–1981 był przewodniczącym Senackiego Komitetu ds. Sił Zbrojnych, gdzie dał się poznać ze skutecznych na ogół działań na rzecz rozwoju marynarki wojennej. Z racji tego nadano mu potem zaszczytny przydomek „Ojca nowoczesnej amerykańskiej marynarki wojennej” (ang.Father of America’s Modern Navy).
Jeden z obecnie znajdujących się w służbie amerykańskich lotniskowców, USS John C. Stennis (CVN-74), został tak ochrzczony na jego cześć.
Stanowisko w sprawie praw obywatelskich
Przez dość długi okres Stennis należał w Senacie do zdecydowanych przeciwników, podobnie jak wielu innych demokratów z Południa, rozszerzenia praw obywatelskich na ludność kolorową, w tym prawa do głosowania. Jego sojusznikami w tej materii byli m.in. Robert Byrd czy Strom Thurmond.
Wtajemniczeni twierdzili jednakże, iż nie czynił tego z pobudek ideologicznych i nie był z przekonania rasistą, jak Eastland czy Bilbo, tylko czuł się zobligowany wobec swoich białych wyborców i, jak wielu południowców w owym czasie, obawiał się, iż w wypadku zbyt szybkich posunięć nastąpi (co się wcale nie sprawdziło) „katastrofa”. Zresztą zarówno on, jak i Byrd czy Thurmond, zmienili potem stanowisko w tej sprawie, a nawet niektórzy z nich zostali zaliczeni przez organizacje Afroamerykanów do sojuszników w Kongresie.
W latach 60. wielu konserwatywnych demokratów z Południa, zrażonych polityką liberalnych demokratów, jak prezydenci John F. Kennedy oraz Lyndon B. Johnson, zaczęło zwracać się w stronę bardziej konserwatywnych republikanów, którzy w końcu, głównie dzięki temu, stali się dominującą siłą w regionie. Jakkolwiek Stennis pozostał lojalnym członkiem partii demokratycznej i nie przeszedł, jak Thurmond, do obozu przeciwnego, to jednak poparł publicznie republikańskiego kandydata na prezydenta w 1964Barry’ego Goldwatera. W tym też roku głosował przeciwko ustawie o prawach obywatelskich, która zakończyła ostatecznie segregację na południu.
Początkowo organizacje Afroamerykanów odnosiły się do Stennisa z dużą dozą rezerwy, wypominając mu m.in. pamiętną sprawę z czasów jego urzędowania jako prokuratora. Pod koniec lat 70. i w latach 80. zaczął jednak popierać prawie wszystkie inicjatywy ustawodawcze w zakresie rozszerzenia praw obywatelskich, podobnie jak praw kobiet (jednym z bardzo nielicznych wyjątków był sprzeciw wobec ustanowienia święta im. Martina Luthera Kinga).
Zwyczajowo to najdłużej urzędujący Senator z partii, która aktualnie posiada większość, obejmuje tę funkcję, wedle konstytucji czwartą w państwie. Jednakże od 3 stycznia1981 to republikanie wygrali wybory i Strom Thurmond, aczkolwiek młodszy stażem od Stennisa, ale najstarszy wśród zwycięzców, objął to stanowisko.
Po ponownym zdobyciu przez demokratów większości w Senacie w 1987 Stennis został wybrany przewodniczącym pro tempore na okres 100. (1987–1989) Kongresu. W okresie, kiedy był obłożnie chory, jego zastępcą, jako przewodniczącego pro tempore, był George J. Mitchell z Maine.
W roku 1988 Stennis liczący sobie prawie 90 lat odrzucił możliwość ubiegania się o kolejną kadencję i odszedł z Senatu.
Inne wiadomości
W chwili swego odejścia z Senatu, po 41 latach i dwóch miesiącach urzędowania, Stennis był drugim, po Carlu T. Haydenie, najdłużej piastującym mandat senatorem w historii. Jednakże obecnie rekord ten został przełamany przez Thurmonda, Byrda, Teda Kennedy’ego i Daniela Inouye.
W 1984 Stennis stracił swą lewą nogę w wyniku choroby nowotworowej.
W 1973 został poważnie ranny od dwóch kul, kiedy potajemnie przebywał poza swoim domem w Waszyngtonie.
W czasie swej 60-letniej kariery nigdy nie przegrał żadnych wyborów.
Miał dwoje dzieci: córkę Margaret Jane oraz syna Johna Hamptona.
Pochowany jest na Pinecrest Cemetery w Kemper County.
