Elisha Whittlesey war ein Onkel von William A. Whittlesey (1796–1866) sowie ein Cousin von Frederick Whittlesey (1799–1851) und von Thomas T. Whittlesey (1798–1868), die alle drei Kongressabgeordnete waren. Noch in seiner Jugend zog er nach Salisbury. Später besuchte er die öffentlichen Schulen in Danbury. Nach einem Jurastudium und seiner Zulassung als Rechtsanwalt begann er in Danbury und dann in New Milford in diesem Beruf zu arbeiten. Im Jahr 1806 verlegte er seinen Wohnsitz und seine Anwaltskanzlei nach Canfield in Ohio. Dort unterrichtete er auch als Lehrer. Außerdem war er Staatsanwalt im dortigen Mahoning County. Während des Britisch-Amerikanischen Krieges war er sowohl militärischer als auch privater Sekretär von General William Henry Harrison. Zeitweise war er auch Major in der Army of the Northwest, wie der Teil der United States Army, der im Gebiet von Ohio und anderen in der Region gelegenen Staaten operierte, genannt wurde. Politisch war er zunächst Mitglied der Demokratisch-Republikanischen Partei. Später wechselte er zur National Republican Party, zur Anti-Masonic Party und schließlich zur Whig Party. In den Jahren 1820 und 1821 saß er als Abgeordneter im Repräsentantenhaus von Ohio.
Bei den Kongresswahlen des Jahres 1822 wurde Whittlesey im damals neu eingerichteten 13. Wahlbezirk von Ohio in das US-Repräsentantenhaus in Washington gewählt, wo er am 4. März 1823 sein neues Mandat antrat. Nach sieben Wiederwahlen konnte er bis zu seinem Rücktritt am 9. Juli 1838 im Kongress verbleiben. Seit 1829 war er Vorsitzender des Committee on Claims. Seit 1833 vertrat er den 16. Distrikt seines Staates. Die Zeit von 1825 bis 1829 war von heftigen Diskussionen zwischen den Anhängern von Andrew Jackson und denen von PräsidentJohn Quincy Adams bzw. Henry Clay bestimmt. Seit dem Amtsantritt von Präsident Jackson im Jahr 1829 wurde innerhalb und außerhalb des Kongresses heftig über dessen Politik diskutiert. Dabei ging es um die umstrittene Durchsetzung des Indian Removal Act, den Konflikt mit dem Staat South Carolina, der in der Nullifikationskrise gipfelte, und die Bankenpolitik des Präsidenten.
Zwischen 1841 und 1843 war Elisha Whittlesey Revisor (Auditor) im US-Finanzministerium. Danach praktizierte er wieder als privater Rechtsanwalt. Im Jahr 1847 wurde er General Agent der Washington Monument Association, die sich für den Bau des Washington Monument in der Bundeshauptstadt einsetzte. Von 1849 bis 1857 sowie nochmals von 1861 bis zu seinem Tod war er Comptroller of the Treasury im Finanzministerium. Er starb am 7. Januar 1863 in Washington D.C. und wurde in Canfield beigesetzt.
