La contea si trova nel centro-est dello Stato. Il territorio è prevalentemente montuoso. Nell'area meridionale si elevano i monti Catskill e la contea raggiunge la massima altitudine di 1.043 metri con la Huntersfield Mountain situata al confine con la contea di Greene. Nell'area centrale scorre lo Schoharie Creek, un affluente del fiume Mohawk. Il fiume alimenta due laghi artificiali.[2][3]
Prima dell'arrivo dei coloni europei, la regione era territorio di caccia dei nativiMohawk di lingua irochese. Quando nel 1683 le dodici contee della Provincia di New York furono istituite, il territorio dell'attuale contea faceva parte della contea di Albany. La contea fu istituita nel 1795 unendo territori che fino a quel momento avevano fatto parte delle contee di Otsego e Albany. Il nome deriva da una parola Mohawk che significa "legname trasportato dall'acqua che galleggia".[2]
La città di Schoharie fu fondata nel 1718 da coloni tedeschi del Palatinato. Fu in larga parte distrutta dagli inglesi e dai loro alleati nativi nel corso della guerra d'indipendenza.
Negli anni settanta del XIX furono ritrovati nella città di Gilboa dei resti di alberi fossilizzati. Ulteriori ritrovamenti nel 2004 hanno consentito di classificare gli alberi preistorici come appartenenti al genere Wattieza, la più antica specie di albero conosciuta.
