Il est issu d'une famille de négociant. Son père Jean Caillavet est drapier, propriétaire de plusieurs magasins à Agen et sa mère, Marie-Louise Caubet[1], d'origine provençale, est rationaliste et suffragette avant l'heure. Les Caillavet sont originaires du Gers et ce nom veut dire « petit caillou, gravier » en gascon. Son père est franc-maçon et occupe au Grand Orient de France, durant l’entre-deux-guerres, la charge de vénérable de la Loge à Agen. Il fait lire à Henri des ouvrages religieux pour lui former l'esprit. À la maison, l'on reçoit des personnalités : Joffre, Clemenceau, Jean Zay, Joseph Caillaux[2].
Le jeune Henri suit un parcours scolaire classique à Agen : l'école élémentaire Joseph-Bara puis le lycée Bernard-Palissy. Après un brillant cursus universitaire à Toulouse, où Vladimir Jankélévitch lui a « appris à penser », il est docteur en droit et sciences économiques, et licencié es-lettres (philosophie). À partir de 1938, Il exerce la profession d’avocat à la Cour d'appel de Paris[3].
À 21 ans, il est initié en par la Loge des « Vrais Amis Réunis et l'Indépendance Française » (VARIF) du Grand Orient de France à l’Orient de Toulouse[4]. Dans le livre Les frères invisibles, les journalistes Renaud Lecadre et Ghislaine Ottenheimer révèlent que Caillavet était une sommité dans le Grand Orient de France. Il fut longtemps président de la Fraternelle parlementaire[5].
Il est mobilisé en 1939. Dès 1940, il s’oppose à la politique du maréchal Pétain ; son appartenance au Grand Orient de France n’y est pas étrangère. Ses actions contre le régime de Vichy provoquent son arrestation, il est interné le , durant 24 heures, au camp de Noé qui « le relâche faute de preuve »[7],[8]. En tant que franc-maçon, il est empêché de passer son agrégation de droit. « Faute de mieux », il plaide au barreau de Bagnères-de-Bigorre.
Il entre en Résistance contre l'occupation allemande en 1940 et fonde avec André Hauriou le mouvement Combat. Il est arrêté par les Allemands et livré à la Gestapo en . Du fait d'un alibi, justifiant sa présence sur la frontière espagnole, il est libéré au bout de neuf semaines[6].
Deux ans après la Libération, il est élu à 32 ans, député le à la seconde Assemblée nationale Constituante. En tant que parlementaire, il est membre de la Haute Cour de Justice chargée de juger les anciens responsables de Vichy[9]. Il préserve son mandat de député jusqu’en 1958. Très actif en matière de proposition de loi, il en fait sept jusqu'en 1951, puis vingt-quatre jusqu'en 1956[10].
En 1958, il s’oppose au général de Gaulle en votant contre son investiture et la nouvelle Constitution. Il perd les élections législatives balayé par la vague gaulliste qui ouvre la Ve République.
Il quitte ensuite le Lot-et-Garonne pour les Hautes-Pyrénées, où est il sera maire de Bourisp de 1959 à 1983.
Il se présente aux élections sénatoriales en Lot-et-Garonne et est élu en . Sénateur de 1967 à 1983, il cumule ce mandat avec celui de député européen de 1979 à 1984.
Il s'illustre au Parlement notamment par l'élaboration de projets de loi ou de propositions législatives concernant :
l'homosexualité en 1978 ; ses propositions pour retirer du code pénal des mesures discriminantes envers les homosexuels ne seront adoptées complètement qu'en 1981 ; en 1991, il soutient le Contrat d'Union Civil (CUC), préfiguration du PACS voté en 1999[15] ;
Il a justifié l'avortement thérapeutique et l'euthanasie par des arguments qualifiés d'eugénistes par certains, affirmant que dès lors qu'un enfant peut poursuivre ses ascendants en justice pour réclamer le droit à ne pas naitre handicapé (arrêt Perruche) : « permettre à un enfant handicapé de venir au monde est une faute parentale et peut-être même le témoignage d'un égoïsme démesuré »[17].
Il a en outre pris la défense de la tueuse en série Christine Malèvre, une infirmière qui a donné la mort à au moins six patients en fin de vie (dont certains n'étaient pas consentants)[18],[19].
Son portrait avait été brossé en par le journal Le Petit Bleu[2]. Il meurt le (à 99 ans) dans sa maison de Bourisp et est incinéré au crématorium d'Azereix[20].
Son épouse, née Françoise Rousseau, décède en 2011 à l'âge de 99 ans[21]. Le couple a eu quatre garçons : Jean-Pierre, Guy, François et Hugues. Son fils, François Caillavet, assureur, a été impliqué dans le scandale financier provoqué par Jacques Crozemarie président de l'Association pour la Recherche sur la Cancer (ARC) en 1991[22].
Henri Caillavet, Changer la télévision ou le réel imaginaire, Editions Flammarion, , 235 p. (présentation en ligne)
Questions sur l'essentiel, ouvrage collectif, Paris, Cerf, 1979
Henri Caillavet (sommaire en 4e de couverture), Les coudées franches : pour une démocratie réelle (Entretien avec Pierre Jeancard et Jean-Luc Tournier), Paris, Denoël, , 181 p. (présentation en ligne)