D'une famille peu fortunée, fils de tailleur[2], il suit des études au collège de l’Esquile, avant de faire son droit. Reçu avocat à l'âge de vingt ans, il s'inscrit au barreau de Toulouse, dont il devient l'un des membres les plus brillants. Officier municipal de Toulouse en 1790, il devient procureur-syndic du district de Toulouse et administrateur du département. En 1791-1792, il est professeur de droit français à la faculté de droit de Toulouse.
Le , il est élu par les électeurs de Rieux, le 10e sur 12 avec 435 voix sur 647 votants, député de la Haute-Garonne à la Convention nationale, où il siège avec les Girondins. Lors du procès de Louis XVI, contre lequel il se prononce le , il vote en faveur de l'appel au peuple et de la réclusion.
De retour à la Convention, comme les autres députés girondins, le 17 frimaire an III (), il fait voter la levée des séquestres et la restitution des biens mobiliers des condamnés et demande le bannissement pour cinq ans des membres des anciens comités. En revanche, il s'oppose les mesures les plus extrêmes de la réaction thermidorienne. Il obtient l'élargissement de la duchesse d'Orléans en fructidor an III (septembre|1795) et la levée du séquestre mis sur ses biens le 6 messidor an V ().
Le 23 vendémiaire an IV (), il est réélu au Conseil des Cinq-Cents par douze départements et propose, le 6 fructidor an IV (), l'amnistie de l'ensemble des délits révolutionnaires. Modéré, il vote dans le même sens que les monarchistes du club de Clichy, mais n'est pas compris dans la proscription qui s'abat sur eux après le coup d'État du 18 fructidor an V. Un décret du Directoire expulse de France toute la famille des Bourbons.
En 1796, sans demander son congé, Rouzet quitte l'assemblée pour accompagner les duchesses d'Orléans et de Bourbon et le prince de Conti vers la frontière espagnole. À la frontière, il est arrêté sur ordre des administrateurs du département des Pyrénées-Orientales. Mais, s'étant justifié auprès du Conseil des Cinq-Cents, il peut passer en Espagne et s'installe à Barcelone, auprès de la duchesse d'Orléans, qui le nomme son chancelier et obtient pour lui le titre de comte de Folmon, la croix de Malte et de Saint-Charles de Naples.
De retour en France avec la duchesse sous la Restauration, il meurt en 1820, à l'âge de 77 ans. Ses restes sont inhumés dans la chapelle de Dreux, bâtie pour servir de lieu de sépulture à la famille d'Orléans. Sa maîtresse meurt moins d'un an après.
Œuvre
Explication de l'énigme du roman intitulé : Histoire de la Conjuration de Louis-Philippe-Joseph d'Orléans, premier prince du sang, Veredishtad, 4 vol. (réfutation de l'ouvrage de Galart de Montjoie, Histoire de la Conjuration de L.P.J. d'Orléans, imprimée aux frais de la duchesse d'Orléans avant 1814, jamais mis en vente ni en circulation du vivant de cette princesse, quelques exemplaires parus après sa mort).
Christophe Félix Louis Ventre de la Touloubre, dit Galart de Montjoie, Histoire de la conjuration de Louis-Philippe-Joseph d'Orléans, tomes 1 et 2, 1796