В 1975 году перешёл в «Астон Виллу» из шотландского «Данди Юнайтед». Отыграл в ней 4 сезона. 15 декабря1975 сыграл первый матч за сборную Шотландии. Очень успешным в его карьере стал сезон 1976/77, в течение которого он, вместе с командой, выиграл Кубок лиги, а также вместе с Макдональдом стал лучшим бомбардиром сезона, забив 29 мячей.
В том же году получил премию ПФА как игрок года, а также как молодой игрок года. И стал первым футболистом, получившим эти две премии в один год, и одним из троих, вместе с Криштиану Роналду и Гаретом Бэйлом, кто получил 2 премии в один год, за всю историю её существования. Энди Грэй также стал лучшим бомбардиром своей команды в следующем сезоне. Выступая за «Данди Юнайтед», был лучшим бомбардиром Шотландии в сезоне 1974/75.
В 1979 году был продан в «Вулверхэмптон». С новым клубом выиграл Кубок лиги в 1980 году. С 1983 по 1985 играл за «Эвертон», с которым он выиграл Кубок Англии в 1984 году, забив гол в финале, а год спустя стал чемпионом Англии и обладателем Кубка Кубков, также забив гол в финале. В 1985 году вернулся в «Астон Виллу», однако уже не демонстрировал такой результативности, как раньше. В 1987 был отдан в аренду в «Ноттс Каунти». Затем играл за «Вест Бромвич Альбион» и «Рэйнджерс».
Достижения
«Данди Юнайтед»
Лучший бомбардир чемпионата Шотландии: 1975
«Астон Вилла»
Обладатель Кубка Футбольной лиги: 1977
Игрок года по версии футболистов ПФА: 1977
Лучший молодой игрок года по версии футболистов ПФА: 1977
Лучший бомбардир чемпионата Англии: 1977
«Вулверхэмптон»
Обладатель Кубка Футбольной лиги: 1980
«Эвертон»
Чемпион Первого дивизиона Футбольной лиги: 1984/85
Обладатель Кубка Англии: 1984
Обладатель Кубка обладателей кубков: 1985
«Рейнджерс»
Чемпион Первого дивизиона Шотландской лиги: 1988/89
