Ally McCoist commence sa carrière professionnelle à Saint Johnstone FC. Après deux ans à Perth, de nombreux clubs souhaitent l'enrôler. Finalement, Sunderland AFC obtient la signature de l'espoir montant du football écossais, mais ses performances sont moyennes (8 buts en 56 matchs) pendant deux saisons et il est transféré au Rangers FC en 1983.
McCoist reste aux Rangers FC quinze ans et permet au club de remporter dix championnats, une coupe d'Écosse et neuf coupes de la Ligue. Durant ce temps, il fut également meilleur buteur du championnat en 1986 (24 buts), 1992 (34 buts), 1993 (34 buts) et de la Ligue des champions en 1988, et inscrit Modèle:Uniyé au total en championnat sous le maillot des Rangers (355 toutes compétitions confondues). Il a été aussi membre de la sélection écossaise avec laquelle il inscrira 19 buts en 61 sélections, ce qui fait de lui le cinquième meilleur buteur de la sélection.
Il termine sa carrière à Kilmarnock FC entre 1998 et 2001 et prendra sa retraite. En 2004, il rejoint l'encadrement de l'équipe nationale puis celle des Rangers FC, en tant qu'entraîneur-adjoint. Toutefois, avec le départ prévu de l'entraîneur Walter Smith, la direction du club annonce, le , qu'Ally McCoist deviendra entraîneur de l'équipe première[1], ce qui sera effectif à partir du .