Nach seiner Rückkehr aus dem Kongress war Harvey zwischen 1825 und 1827 Mitglied und Präsident des Senats von New Hampshire. Danach war er von 1828 bis 1830 im Beraterstab des Gouverneurs von New Hampshire. Im März 1830 wurde er als Kandidat der Demokraten zum Gouverneur seines Staates gewählt. Er setzte sich mit 54,7 Prozent der Stimmen gegen den NationalrepublikanerTimothy Upham durch.[1]
Gouverneur und weiterer Lebenslauf
Harvey trat sein neues Amt am 3. Juni 1830 an. In seiner Amtszeit setzte er sich für eine Justizreform ein. Sein Vorschlag zur Aufhebung von Haftstrafen für Schuldner konnte aber erst zehn Jahre später in New Hampshire politisch durchgesetzt werden. Am 28. Februar 1831 trat Harvey von seinem Amt zurück, nachdem er durch Präsident Jackson als Nachfolger des verstorbenen John Samuel Sherburne zum Richter am United States District Court for the District of New Hampshire ernannt worden war. Seine restliche Amtszeit wurde von Joseph M. Harper, dem damaligen Präsidenten des Senats von New Hampshire, beendet. Harvey behielt sein Richteramt bis zu seinem Tod im Jahr 1866: danach fiel es an Daniel Clark. Mit seiner Frau Margaret Rowe hatte er zwei Kinder. Sein Bruder Jonathan (1780–1859) vertrat zwischen 1825 und 1830 ebenfalls seinen Staat im US-Repräsentantenhaus.