Le blason, vair bandé de gueules, des premiers barons.
Charlotte de Courtenay-La Ferté-Loupière (1520-ap.1565) fut mariée à Jean des Marins, seigneur de l'Echelle avant 1550, puis à Julien de Condé seigneur de Boulages, avant d'épouser Nicolas de La Croix, vicomte de Semoine et Longueville, seigneur de Rupereux (issu des barons de Plancy), petit-fils de Geoffroy ci-dessous (qui fit l'acquisition de Plancy au début du XVIe siècle). La famille de La Croix (sans doute assimilable aux de La Croix de Castries comme on le trouve souvent, mais certains l'ont contesté) détint Plancy, réunissant peu à peu les différentes parties de la baronnie, de 1507 à 1654.
Geoffroy de La Croix, qualifié d'écuyer, seigneur de Ricquebourg et la Neuville, Villeneuve, Fierville, et baron de Plancy, mais aussi conseiller du roi et son trésorier de ses guerres, son notaire et secrétaire ; cité en un bail de 1512 ; † en mars 1515. Un parent, Nicolas, fut plus tard abbé d'Orbais.
En , la baronnie de Plancy est érigée en marquisat en faveur de Henri du Plessis-Guénégaud (dont la mère était Marie de La Croix, dame du Plessis-Belleville, fille de Claude de La Croix vicomte de Semoine et Catherine de Balhaan du Plessis-Belleville, et petite-fille de Nicolas de La Croix de Plancy vicomte de Semoine et Charlotte de Courtenay ci-dessus) et en celle de ses hoirs et ayant droit par lettres enregistrées au Parlement le et la Chambre des Comptes le .
Le château fort eut très tôt un donjon de pierres, des fossés remparts et parmi ces bâtiments une collégiale desservie par des chanoines de Saint-Laurent.