Zijn carrière begon hij in 1967 als gitarist in de band van blues-organist Johnny 'Hammond' Smith. In 1969 speelde hij in de groep Dreams samen met Michael en Randy Brecker. In New York werd hij een veelgevraagde sessie-muzikant. Hij speelde mee op plaatopnames van onder meer Gil Evans en Gato Barbieri en maakte regelmatig deel uit van de groep van Chico Hamilton. Als gitarist van de groep Spectrum van drummer Billy Cobham begon hij bekender te worden. Op het Montreux Jazz Festival vroeg platenbaas Manfred Eicher van ECM hem voor zijn label op te nemen en in 1974 kwam hierop zijn eerste plaat uit, 'Timeless', met Jan Hammer (keyboards) en Jack DeJohnette (drums). Er zouden er nog vele volgen. In 1975 kwam zijn trio Gateway (met bassist Dave Holland en DeJohnette) met de plaat 'Gateway'. Met dit trio nam Abercrombie vier platen op. In 1979 richtte hij een eigen kwartet op, dat drie platen zou maken.
Abercrombie speelde vaak met DeJohnette samen (onder meer in diens groepen Directions en New Directions), evenals met gitarist Ralph Towner. Eind jaren tachtig en begin jaren negentig speelde hij in het kwintet van trompettist Kenny Wheeler, een andere muzikant die vaak platen voor ECM opneemt.