Rhodes toimi 3. tammikuuta 1953 – 3. tammikuuta 1983, tasan kolmenkymmenen vuoden ajan, Yhdysvaltain edustajainhuoneen jäsenenä Arizonan osavaltion ensimmäisestä vaalipiiristä. Vuosina 1973–1981 hän toimi edustajainhuoneen vähemmistöjohtajana, jossa tehtävässä hän seurasi Yhdysvaltain varapresidentiksi siirtynyttä Gerald Fordia. Hän ei asettunut enää ehdolle vuoden 1982 edustajainhuoneen vaaleissa ja hänen seuraajakseen Arizonan ensimmäisen vaalipiirin edustajana valittiin John McCain.[1][2][3]
Rhodes oli vuodesta 1942 naimisissa Elizabeth Harvey Rhodesin kanssa. Heillä oli neljä lasta, tytär ja kolme poikaa. Yksi pojista, John Jacob Rhodes III, toimi vuosina 1987–1993 Yhdysvaltain edustajainhuoneen jäsenenä samasta vaalipiiristä kuin isänsä.[4][5]
