Au XIe siècle, la seigneurie s'étendant autour de la forteresse de Rietberg était un domaine possédé par les comtes saxons de Werl résidant à Arnsberg. Par contrat conclu le , le comte Conrad reçut de son cousin Godeffroy III d'Arnsberg la région au nord de la Lippe, qui a été constituée en tant qu'entité juridique distincte.
Bien que le comté de Rietberg s'est avéré petit et sans importance, plusieurs membres de la famille ont obtenu des postes politiques de haut rang en Westphalie. En 1353, le comte Conrad III fut inféodé avec Rietberg par Charles IV, roi des Romains. Cependant, en 1452, son descendant Conrad V, gêné par de graves problèmes financiers, a dû accepter la suzeraineté du landgrave Louis Ier de Hesse, ce qui a pour conséquence une perte de l'immédiateté impériale.
Carte du comté vers 1650.
En 1540, la bande littorale du Harlingerland en Frise orientale échut aux souverains de Rietberg ; le comte Otton IV, après son arrivée au gouvernement en 1535, a introduit le culte luthérien. La lignée masculine des comtes de Rietberg s'éteint en 1562, avec le décès de son ultime représentant, le comte belliqueux Jean II, captif des princes du Cercle du Bas-Rhin-Westphalie. Le landgrave Philippe de Hesse a tenté d'encaisser le fief ; néanmoins, les filles de Jean II, Armgard et Walburgis de Rietberg ont obtenu qu'elles reçoivent en fief le patrimoine de leur père.
C'était Walburgis qui, par son mariage avec le comte Ennon III de Frise orientale, assure alors la succession à Rietberg. À sa mort en 1586, le comté a été attribué à sa fille Sabine-Catherine qui elle-mème épousa son oncle le comte Jean III de Frise orientale. La famille frisonne régna sur Rietberg jusqu'à la mort du comte Ferdinand-Maximilien sans héritier mâle en 1680. Afin de s'opposer à des actions en revendication introduites par les landgraves de Hessse, le comté a été placé sous l'administration des princes-évêques de Paderborn et de Münster. En 1699, la fille de Ferdinand-Maximilien, Marie Ernestine Francisca, se marie avec le noble bohémien Maximilien Ulrich de Kaunitz (Kounice).
Grandes armes des comtes de Kaunitz-Rietberg à partir de 1699.