Né à Montauban, Jean Abeilhou est originaire de Reyniès, un village de Tarn-et-Garonne à quelques kilomètres de sa ville natale, dans lequel il pratique le football au sein de la Jeunesse sportive reyniésienne, club fondé en 1936. Il fait partie de la Lyre reyniésienne, troupe locale de théâtre où il interprète de nombreux rôles et en particulier des pièces de Georges Feydeau et d'Eugène Labiche. Dans les années 1980, il anime de nombreuses manifestations locales et en particulier, il est le commentateur attitré des Deux heures de Reyniès, course mythique de Solex faisant partie du championnat de Midi-Pyrénées. Il est à ce moment remarqué par Bas Quercy Radio, la première radio libre montalbanaise, qui le sollicite pour assurer des reportages sportifs dans tout le département et sa proche région. Ses confrères à ce moment, « jeunes pousses » comme lui, sont Jean Rességuié (Radio Monte-Carlo), Henry Stassinet (Radio France), Jean-Wilfrid Forquès (RMC-Le Figaro) et André Martres (France Inter).
Il rejoint ensuite FR3 Toulouse, prend la succession d'André Martres comme responsable de Rugby Magazine et Rencontres à XV. Durant la coupe du monde de rugby 2003, il commente certains matchs avec le Toulousain Jérôme Cazalbou. Il commente aussi, toujours avec Jérôme Cazalbou, les matchs du Tournoi des Six Nations n'impliquant pas le XV de France.
À la suite de l'éviction de Pierre Salviac et du départ de Thierry Lacroix de la chaîne française, il commente les matchs de la Coupe d'Europe et les matchs internationaux de l'équipe de France en compagnie, le plus souvent, de Fabien Galthié. Depuis 1991, il présente le magazine du rugby Rencontres à XV diffusé sur FR3 puis France 3 jusqu'en 1998 et France 2 tous les dimanches matins de 1998 à 2021. Cette émission est en quelque sorte le point de rencontre de tous les amateurs et supporters de l'Ovalie. En , le directeur du Service des sports de France Télévisions, Daniel Bilalian, le congédie sur un coup de fil de son poste de commentateur en titre de l'équipe de France de rugby, à trois semaines de l'ouverture du Tournoi des Six Nations pour laisser la place à Matthieu Lartot[1],[2].
En 2023, il remplace Matthieu Lartot, en retrait de l'antenne pour soigner un cancer, aux commentaires d'une demi-finale et de la finale de Champions Cup et lors de la finale de Top 14[10].