Het gebied rond Barby werd aan het eind van de twaalfde eeuw verworven door Walther III van Arnstein. Hij stichtte de linie van de graven van Arnstein-Barby. Zijn zoon Walther IV verenigde lenen van het prinsbisdom Maagdenburg, van de abdij Nienburg en van Anhalt. De heerlijkheid lag rond Barby, Calbe, Mühlingen en Schönebeck. Daarbij kwamen nog Rosenburg, Walternienburg en van 1264 tot 1307 Zerbst. In 1356 waren de heren genoodzaakt een groot deel van de bezittingen als leen aan het hertogdom Saksen-Wittenberg op te dragen.
In 1497 werd de heerlijkheid door keizer Maximiliaan I tot rijksgraafschap verheven. Omstreeks 1540 werd de Reformatie ingevoerd.
In 1659 stierf de familie uit. De bezittingen werden vervolgens verdeeld:
de ambten Walter-Nienburg en Mühlingen kwamen als Askanische lenen aan Anhalt-Zerbst.
De keurvorst van Saksen gaf Barby aan zijn zoon, hertog August van Saksen-Weißenfels. Hertog August kreeg daarmee ook de zetel van het graafschap Barby in Opper-Saksische Kreits. In zijn testament vermaakte hertog August het graafschap aan zijn vierde zoon, hertog Hendrik. Na het uitsterven van Saksen-Barby in 1739 valt het graafschap aan Saksen-Weißenfels om vervolgens in 1746 terug aan het keurvorstendom Saksen te komen.
