Leasburg a été le premier siège de comté. En 1792, près de la moitié orientale du comté de Caswell devint le comté de Person. Après cette division, le centre de gouvernement du comté de Caswell a été transféré dans un endroit plus central: le siège du nouveau comté était d'abord appelée Caswell Court House. Plus tard, le nom a été changé en Yanceyville.
C'est dans le comté de Caswell que la famille Slade a découvert le processus de traitement du tabac à feuilles brillantes qui a révolutionné l'industrie du tabac et apporté de grandes richesses à la région.
Le journal local "The Caswell Messenger" a plus de quatre-vingt cinq ans et a maintenant une édition en ligne.
(en) William Stevens Powell, When the past refused to die: a history of Caswell County, North Carolina, 1777-1977, Moore Pub. Co., , 619 p. (ISBN9780877160793)