Alain Gibert est né dans une famille d'agriculteurs du canton de Pradelles en Haute-Loire. Il étudie les mathématiques et devient enseignant, avant d'apprendre la guitare et le jazz en autodidacte[2]. En 1975, il apprend le trombone, qui devient son instrument principal. Alain Gibert est un des membres fondateurs de l'ARFI en 1977 à Lyon, et s'investit en particulier dans le big bandLa Marmite Infernale[2],[3] ainsi que dans le Marvelous Band.
Il travaille également avec Steve Waring sur l'écriture de chansons pour enfants[2]. Attaché à l'Auvergne et à la musique traditionnelle, il collabore avec André Ricros pour l'album Le partage des eaux, obtient avec lui un grand prix du disque de la Musique de l'Académie Charles-Cros pour le livre-album Chansons à dormir couché en 2004, et participe à la création de la compagnie l'Auvergne imaginée[3].
Au sein de l'ARFI, il joue au sein du trio Apollo avec Jean-Paul Autin et Jean-Luc Cappozzo, et du duo Kif-Kif avec son fils, le clarinettiste Clément Gibert.
Il meurt le au CHU de Clermont-Ferrand, près de son domicile auvergnat de Montmorin[4]. Un hommage lui est rendu par le ministre de la culture Aurélie Filippetti[5]. Le pianiste François Raulin lui rend hommage dans une lettre d'adieu, le décrivant comme « un grand compositeur, un subtil mélodiste et un savant harmoniste »[6].