Rufus Thibodeaux a commencé à jouer de la guitare à partir de six ans et du violon à douze ans. Il a joué dans les salles de danse locales à 13 ans, et a rejoint le groupe cajun de Julius Lampérez(en) en 1949. Il a beaucoup travaillé en tant que musicien de studio[1], par exemple pour J. D. « Jay » Miller à Crowley, en collaboration avec les frères Clément.
En 1950, il commence à travailler avec Jimmy C. Newman[2],[3], un artiste familier du Grand Ole Opry. Leur rencontre est le début d'une longue association qui comprend le premier succès de Newman, Cry, Cry, Darling, en 1952[3],[1].
Son enregistrement de 1970 en duo avec Jimmy C. Newman de la chanson Lâche Pas la Patate a été la première chanson chantée en français cadien à atteindre le statut de disque d'or[4].
En 1975, il est cité et célébré par Michel Fugain dans sa chanson Les Acadiens[5]. Cette chanson fut ensuite reprise par de nombreux artistes et enfin, sous l'intitulé Tous les Acadiens, par l'artiste canadienne Natasha St-Pier[6].
En 1987, il a publié un album solo, The Cajun Country Fiddle de Rufus Thibodeaux. En 1989, il a contribué à des pièces de violon cajun à la chanson Gonna Be Alright Tout de l'album d'Isadar (Fabian I. Thibodeaux) Dream Of The Dead.
Pendant les dernières années de sa vie, Rufus Thibodeaux a souffert du diabète, et cette maladie a entraîné l'amputation d'une de ses jambes en 1999. Il a néanmoins continué d'enregistrer pratiquement jusqu'à sa mort en 2005[1].
En 2010, le National Fiddler Hall of Fame a inscrit Rufus Thibodeaux dans sa liste de vionistes de référence[9].
