1965 begleitete Goldberg Bob Dylan, als dieser auf dem Newport Folk Festival die akustische durch die elektrische Gitarre ersetzte und den Folk Rock aus der Taufe hob. 1966 erschien ein Album der Barry Goldberg Blues Band.
Goldberg war Mitglied von Mike Bloomfields Band Electric Flag, die 1967 beim Monterey Pop Festival ihren ersten Auftritt hatte. Im selben Jahr begleitete Goldberg Stephen Stills, Al Kooper und Mike Bloomfield auf deren Album Super Session. 1969 spielten Goldberg und Bloomfield das vielbeachtete Album Two Jews Blues ein.
In den 1970ern war Goldberg einer der Namensgeber des Projekts KGB. In der Folgezeit schrieb er immer wieder Musik für Film- und Fernsehproduktionen. Gelegentlich trat er mit einer eigenen Band auf oder begleitete Musikerkollegen bei ihren Auftritten.
Unter dem Bandnamen The Rides spielte er 2013 mit Stephen Stills und Kenny Wayne Shepherd das Album Can’t Get Enough ein, auf das 2016 ein zweites Gemeinschaftswerk mit dem Titel Pierced Arrow folgte.
Vor allem in den 1980er und 1990er Jahren war Goldberg als Komponist an einigen Film- und Fernsehproduktionen beteiligt.
