Wheeler nasceu em Malone, Nova Iorque, e participou da Franklin Academy e a Universidade de Vermont, embora preocupações monetárias forçaram-no a abandonar os estudos antes mesmo de se graduar.[1] Ele foi admitido ao bar em 1845, praticou direito em Malone, serviu como procurador de distrito para o Condado de Franklin de 1846 a 1849. Wheeler tornou-se um membro da Assembleia do Estado de Nova Iorque em 1850 e 1851 e membro do Senado do estado de 1858 a 1860. Ele foi eleito como um Republicano para o Trigésimo Sétimo Congresso dos Estados Unidos de 4 de março de 1861 a 4 de março de 1863). Também foi presidente da Convenção Constitucional do Estado de Nova Iorque de 1867 a 1868, e foi eleito para os Quadragésimo Primeiro e Quadragésimo Terceiro Congressos sucessivos de 4 de março de 1869 a 4 de março de 1877.
David QuigleySecond Founding: New York City, Reconstruction, and the Making of American Democracy (New York: Farrar. Straus, and Giroux - Hill and Wang, 2004), ISBN 0-8090-8514-3.