Il ne rentre en France qu'en 1814, avec l'arrivée de Louis XVIII sur le trône. Le , il est élu député du Gers par 121 voix sur 199 votants. Castelbajac siège avec les ultra-royalistes et soutient les mesures réactionnaires. Il réclame ainsi l'exécution de quiconque arborerait le drapeau tricolore. Le 12 janvier 1816, il vote pour les exceptions de la loi d'amnistie.
En août1816, Louis XVIII dissout la Chambre introuvable ultra à laquelle Castelbajac appartient, mais celui-ci parvient tout de même à se faire réélire, avec 105 voix sur 202 votants.
En 1817, il prend part à la discussion sur la loi électorale et soutient une solution des plus réactionnaires en demandant l'élection à deux degrés et l'institution d'assemblées de paroisses et de corporations. Au cours des débats, il qualifie les ultra-royalistes « d'hommes ultra-malheureux à la cause royale, à qui il ne reste de leur fortune que des débris et de leur famille que des tombeaux ».
Battu aux élections de 1817, Castelbajac est rejeté dans l'opposition au gouvernement constitutionnel, qu'il n'a de cesse d'attaquer dans le journal ultra Le Conservateur.
En 1819, il se présente dans la Haute-Garonne et parvient à retrouver un siège de député, avec 691 voix sur 1371. Au cours de ce troisième mandat, il combat toute révision du strict régime censitaire instauré par la loi électorale de 1817.
Réélu une quatrième fois en 1821, Castelbajac se lie au comte de Villèle, un des chefs ultra qui est comme lui un élu de la Haute-Garonne. Lorsque Villèle prend la tête du ministère en 1822, Castelbajac soutient corps et âme la politique de son ami, quitte à se détacher du camp des ultras purs et durs.
Sa fidélité envers le chef de gouvernement est en tout cas récompensée en 1823 par sa nomination à la tête de la direction générale des haras, de l'agriculture, du commerce et des manufactures. En 1824, il est directeur général des douanes. La même année, il obtient une nouvelle réélection en Haute-Garonne.
.jpg)
