La contea si trova nel centro-ovest dello Stato. Il territorio è prevalentemente collinare nell'area meridionale e raggiunge la massima elevazione di 640 metri con la Connecticut Hill. L'area settentrionale è meno collinare ed è costituita da fertili suoli ondulati e pianeggianti. Nell'area nord-occidentale si stende la parte meridionale del lago Cayuga. Nell'area nord-orientale scorre il Fall Creek che sfocia nel lago Cayuga. A nord-ovest scorre il Taughannock Creek che prima di sfociare nel lago Cayuga forma le spettacolari cascate all'interno del parco statale di Taughannock Falls.[2][3] Il confine sud-orientale è segnato dal ramo occidentale dell'Oswego Creek. Nel settentrione nasce l'Owasco Inlet che scorre verso nord per andare a sfociare nell'omonimo lago.
I primi abitanti del territorio della contea furono i nativiCayuga della confederazione irochese. Quando fu istituita la Provincia di New York nel 1683, l'area dell'attuale contea faceva parte della contea di Albany. La contea di Tompkins fu istituita nel 1817 unendo territori che fino ad allora avevano fatto parte delle contee di Seneca e di Cayuga. La contea prese il nome da Daniel D. Tompkins, governatore dello Stato di New York e vicepresidente degli Stati Uniti (1817-25).[2][3]
Nel 1832 la contea fu raggiunta dalla ferrovia che collegò Ithaca con Oswego. Nel 1854 fu separato dalla contea parte del territorio con cui sarà formata la contea di Shuyler.
