Mackay wuchs in London auf. Er besuchte die Reading University, wo er sich mit seinem Studienkollegen Brian Eno anfreundete. 1971 beantwortete er ein Inserat von Bryan Ferry, der für seine Band Roxy Music einen Keyboarder suchte. Mackay spielte zwar Saxophon und Oboe, er besaß aber auch einen Synthesizer und wurde deshalb in die Band aufgenommen. Brian Eno, der eigentlich gar keine musikalische Ausbildung hatte, lernte mit Synthesizern umzugehen und stieß so ebenfalls zur Band. Mackay war zu dieser Zeit auch vollzeitbeschäftigter Musiklehrer in der Holland-Park-Comprehensive School.
Mackay wurde bei Roxy Music unter anderem für seinen Duckwalk, einer Hommage an die Musik der 1950er Jahre, beim Saxophon-Solo bekannt.
Er brachte in den 1970ern zwei Solo-Alben auf den Markt und komponierte die Musik für das Album Rock Follies, das in den britischen Charts 1976 die Nr. 1 erreichte. Mackay arbeitete auch mit Mott the Hoople, John Cale, Pavlov’s Dog, Godley & Creme, Eddie & the Hot Rods und 801. 1981 publizierte er Electronic Music: The Instruments, The Music & The Musicians.
Nachdem sich Roxy Music 1983 aufgelöst hatte, schlossen sich Mackay und Roxy-Music-Gitarrist Phil Manzanera zu den The Explorers zusammen. Die Band nahm 1985 ein Album auf, das zweite Album 1988 erschien unter dem Interpretennamen Manzanera & Mackay. Unter diesem Namen nahmen sie zwei weitere Alben auf, welche sowohl altes Material von den Explorers als auch neues beinhaltete.
Mackay nahm schließlich 1989 ein Weihnachtsalbum mit The Players, einer Band, die aus englischen Folkmusikern bestand, auf. Er schrieb auch Musik für das britische Fernsehen.
Seit 2001 tourt er wieder mit der wiedervereinigten Band Roxy Music.
