Sa famille déménage à Houston quand il a 6 ans. Il est le frère du saxophoniste Grady Gaines. Très jeune, Roy Gaines commence à jouer du piano sur le style de Nat King Cole. Il se lie d'amitié avec d'autres musiciens locaux comme Clarence Hollimon et Johnny Copeland. À l'adolescence, il se tourne vers la guitare et commence à jouer dans les clubs de Houston. Il rencontre son « héros » T-Bone Walker en 1951 et se rend alors à Los Angeles (où il intègre le groupe de Roy Milton), et fréquente l'université de Monterey (où il apprend les harmonies…). En 1955, il figure sur divers enregistrements de Big Mama Thornton, Junior Parker (Driving Me Mad) et Bobby Bland (It's My Life Baby & Woke Up Screaming).
À cette époque, Roy commence à travailler pour Chuck Willis à New York City et enregistre pour Atlantic Records en 1956, pour De Luxe Records en 1957 et RCA Records en 1958. Les années 1960 ne voient que deux enregistrements sur les petits labels Del-Fi et Uni. Chuck Willis meurt en 1958 et Roy continue son travail de musicien de session, dont Essential Jimmy Rushing en 1954, Blues Wail: Coleman Hawkins Plays the Blues en 1957 ou avec Billie Holiday. Il travaille également avec The Jazz Crusaders (1961) et intègre le big band de Ray Charles en 1966, pour qui il écrit No Use Cryin' sur l'album Crying Time.
Dans les années 70, Roy Gaines fit à nouveau de nombreuses apparitions en solo ou avec les Crusaders (1978). Il continue son travail de musicien de session pour Aretha Franklin, Della Reese, The Supremes. Il apparaît sur les albums My Cherie Amour de Stevie Wonder, Green Onions de Milt Buckner (1975) et Albert de Albert King (1976). Il continue de travailler avec T-Bone Walker jusqu'au décès de celui-ci en 1975. Il prend part au concert de Harry Belafonte à Las Vegas en 1976. En 1976, il tourne avec les Supremes en Amérique du Sud, et avec Diana Ross en 1977 aux États-unis, ou avec The Everly Brothers au Québec. Il travaille pour le cinéma et la télévision avec Quincy Jones. En 1982, il enregistre le classique Gainelining. Il écrit Don't Make Me No Never Mind pour la musique du film La Couleur pourpre (1985), où il joue un petit rôle. il faudra attendre 1996 pour la parution d'un nouveau disque solo Lucile Works For Me. Suivront un album sur JSP, un disque-hommage à T-Bone Walker pour Groove Note, puis un nouvel album pour le label Severn.
Le à Vaulx en Velin (salle Ch.Chaplin), au cours d'une tournée en France qui le mène à Paris pour un concert et où lui est attribué un Grand Prix du Jazz pour son dernier album : Roy Gaines et son orchestre.
Le à Talant (21)(complexe Marie-Thérèse Eyquem), à la 12e Nuit du Blues, en compagnie de Shakira S'Aida (USA) et du groupe Awek (FR).
Il revient en pour une tournée française et passe par le Jazz Club Etoile, Clermont-Ferrand (Poco Loco), Montpellier (Internationales de la Guitare), Zurich (Le Mood's), Oraison et Saint-Chamond (Rhino Jazz Festival).
