Le château appartient au XVIe siècle à François d'André, capitoul de Toulouse en 1596. Sa fille, Perrette d'André, dame de La Fitte, épouse, en 1634, Léonard de Bastard (1600-1693), bourgeois de Toulouse, élu capitoul de Toulouse en 1642 et 1668 et de ce fait anobli. Leur fille Adélaïde de Bastard épouse le marquis Charles Gravier de Vergennes,
neveu du ministre de Louis XVI. Elle a comme fille Claire Élisabeth de Vergennes qui épouse Auguste de Rémusat, d'une famille de la petite noblesse de Provence.
Sous l'Empire, Claire de Rémusat devient dame du Palais de l'Impératrice et son mari premier chambellan de l'Empereur et surintendant des Théâtres impériaux. Auguste de Rémusat est fait comte de l'Empire en 1808 et achète en 1809 aux créanciers le château, vendu après la mort en 1994 du frère d'Adélaïde de Bastard, pour payer ses dettes.
Le portrait de Charles de Rémusat autrefois présent dans la bibliothèque a été donné en 1966 au musée du Vieux Toulouse[2].
Le château de Lafitte-Vigordane a été habité par la célèbre archéologue indépendante, expert en histoire en Histoire de l'Art khmer, exploratrice et écrivaine Giberte de Coral-Rémusat (1903-1943) correspondante de l'Ecole française de l'Extrême Orient. Gilberte de Coral-Rémusat est la fille unique de Pierre, comte de Rémusat (1864-1946) et de Germaine Stieldorff (1881-1966). Gilberte fait partie de la cinquième et dernière génération des « Rémusat toulousains ». Elle est l'épouse de Hugues, comte de Coral.
Enfin, son auguste ancêtre, Charles de Rémusat(1797-1875) est une légende et un modèle pour son arrière-petite-fille Régine de Coral-Rémusat.
.svg){kind=small}
