La contea si trova nella parte orientale dello Stato, al confine con il Massachusetts. Ad occidente il fiume Hudson segna il confine con le contee di Ulster, Greene e di Albany.
Il territorio è collinare ad oriente dove si elevano i monti Taconic[2]. Qui il territorio raggiunge la massima elevazione con la Alander Mountain di 643 metri. L'area centrale e occidentale è prevalentemente pianeggiante. I laghi principali sono il lago Copake, ai piedi della catena delle Taconic, ed il lago Taghkanic nell'area meridionale.
Il capoluogo di contea è la città di Hudson posta sul fiume omonimo.
Quando nel 1609Henry Hudson risalì il fiume che avrebbe portato il suo nome, l'area dell'attuale contea era abitata da nativiMohicani. Con l'istituzione delle Provincie di New York nel 1683, l'area dell'attuale contea faceva parte della contea di Albany.
La contea di Columbia fu istituita nel 1786 separandola dalla contea di Albany. Fu chiamata così in onore di Cristoforo Colombo.[2]
