Elbert County entstand am 13. Februar 1874 aus dem westlichen Teil des bis dato an die Staatsgrenze zu Kansas reichenden Bezirks Douglas und der nördlichen Region des mit diesem Tag aufgelösten Bezirks Greenwood. Am 11. April 1889 verlor Elbert seine westlichen Gebiete an die neu gegründeten Verwaltungsbezirke Lincoln, Kit Carson und Cheyenne.
Benannt ist das County nach dem Gouverneur des Colorado-Territoriums Samuel Hitt Elbert.
Nach der Volkszählung im Jahr 2000 lebten im County 19.872 Menschen. Es gab 6770 Haushalte und 5652 Familien. Die Bevölkerungsdichte betrug 4 Einwohner pro Quadratkilometer. Ethnisch betrachtet setzte sich die Bevölkerung zusammen aus 95,22 Prozent Weißen, 0,64 Prozent Afroamerikanern, 0,63 Prozent amerikanischen Ureinwohnern, 0,37 Prozent Asiaten, 0,09 Prozent Bewohnern aus dem pazifischen Inselraum und 1,28 Prozent aus anderen ethnischen Gruppen; 1,76 Prozent stammten von zwei oder mehr Ethnien ab. 3,85 Prozent der Bevölkerung waren spanischer oder lateinamerikanischer Abstammung.
Von den 6770 Haushalten hatten 42,8 Prozent Kinder und Jugendliche unter 18 Jahre, die bei ihnen lebten. 75,1 Prozent waren verheiratete, zusammenlebende Paare, 5,7 Prozent waren allein erziehende Mütter. 16,5 Prozent waren keine Familien. 12,2 Prozent waren Singlehaushalte und in 3,1 Prozent lebten Menschen im Alter von 65 Jahren oder darüber. Die Durchschnittshaushaltsgröße betrug 2,93 und die durchschnittliche Familiengröße lag bei 3,19 Personen.
Auf das gesamte County bezogen setzte sich die Bevölkerung zusammen aus 30,2 Prozent Einwohnern unter 18 Jahren, 5,5 Prozent zwischen 18 und 24 Jahren, 32,8 Prozent zwischen 25 und 44 Jahren, 25,5 Prozent zwischen 45 und 64 Jahren und 6,0 Prozent waren 65 Jahre alt oder darüber. Das Durchschnittsalter betrug 37 Jahre. Auf 100 weibliche Personen kamen 100,6 männliche Personen, auf 100 Frauen im Alter ab 18 Jahren kamen statistisch 99,9 Männer.
Das jährliche Durchschnittseinkommen eines Haushalts betrug 62.480 USD, das Durchschnittseinkommen der Familien betrug 66.740 USD. Männer hatten ein Durchschnittseinkommen von 45.329 USD, Frauen 29.767 USD. Das Prokopfeinkommen betrug 24.960 USD. 4,0 Prozent der Bevölkerung und 2,5 Prozent der Familien lebten unterhalb der Armutsgrenze. Darunter waren 4,6 Prozent der Bevölkerung unter 18 Jahren und 4,5 Prozent der Einwohner ab 65 Jahren.
Wohnsiedlungen, die kein Stadtrecht besitzen, sondern lediglich amtlich festgelegte Orte für die Volkszählung (census-designated place) sind, sind kursiv dargestellt.