Il naît dans une famille de l'aristocratie vendéenne comptant plusieurs parlementaires : son père, Armand Charles, est député de la Vendée de 1914 à 1927, puis sénateur de 1927 à 1936. Il a succédé à son propre père, Armand Léon, député royaliste de la Vendée de 1876 à 1914.
Grand propriétaire foncier, il s'investit dans les questions agricoles en participant à l'action de syndicats professionnels, de coopératives et de mutuelles. Il préside le syndicat des marais de la baie de Bourgneuf, et milite pour la mise en œuvre d'un programme de modernisation et d'équipement de l'agriculture des marais de l'Ouest dans le cadre des grands aménagements régionaux lancés après la Seconde Guerre mondiale.
Catholique fervent[2], farouche militant de l'Action française comme son père et son grand-père[3], il commence sa carrière politique en se faisant élire, en 1935, conseiller municipal et premier adjoint au maire de La Garnache, et conseiller général de Challans. Il est maire de La Garnache de 1941 à 1977 et conseiller général jusqu'en 1955, date à laquelle il est battu par le candidat d'extrême droiteFrançois Boux de Casson, ancien délégué départemental à l'Information du gouvernement de Vichy.
Conduisant une liste conservatrice sous l'intitulé d'Union républicaine et d'action agricole, maritime et sociale lors de l'élection de la première Assemblée constituante (), Armand de Baudry d'Asson est élu. Il siège dans l'opposition de droite, adhérant au PRL. Il est membre de la commission de l'équipement national et de la production.
Il est réélu dans la seconde Assemblée nationale constituante en , sous l'étiquette PRL. Il y est membre de la commission du ravitaillement, et s'oppose au projet de Constitution.
Les élections législatives de lui permettent de conserver son siège. Il est membre des commissions de l'agriculture et de l'éducation nationale de la nouvelle Assemblée nationale.
Il est réélu lors des élections législatives de juin 1951. Membre du groupe des Républicains indépendants, il participe aux travaux des commissions de l'éducation nationale, de l'agriculture et de l'intérieur.
Lors des élections législatives de janvier 1956, Armand de Baudry d'Asson conduit une liste d'Union des indépendants et paysans de Vendée. Réélu, il retrouve la commission de l'éducation nationale, et il s'inscrit également à la commission des affaires économiques.
