USA:s presidentMillard Fillmore utnämnde honom till Minnesotaterritorietsguvernör men Pennington tackade nej till utnämningen. Efter whig-partiets nedgång bytte han parti till republikanerna och representerade New Jerseys 5:e distrikt i representanthuset 1859-1861 och under sin enda mandatperiod i kongressen avancerade till talman som kompromisskandidat efter flera månaders misslyckade försök i representanthuset att välja ny talman. Talmannen Pennington lyckades inte bli omvald till kongressen.
Penningtons grav finns på Mount Pleasant Cemetery i Newark.