Ally McCoist swoją bogatą w sukcesy karierę rozpoczynał w klubie St. Johnstone F.C., gdzie zadebiutował w roku 1978. W swym pierwszym sezonie w tej drużynie zagrał jedynie cztery mecze, nie strzelając żadnego gola. W sezonie 1980/81 rozegrał on w barwach St Johnstone aż 38 meczów, zdobywając 22 bramki. Po tym sezonie wiele znamienitych klubów z Wielkiej Brytanii chciało mieć u siebie McCoista, jednak wszystkie oferty, w tym Rangersów przebił Sunderland. Pobyt w Sunderlandzie nie należał do udanych dla Ally'ego, gdyż w 56 rozegranych meczach strzelił jedynie 8 goli. W roku 1983 klub z Glasgow doprowadził swoje starania - ówczesny menedżer Rangersów, John Greig sprowadził McCoista na Ibrox Park.
Grając w Rangers F.C. McCoist zdobył ogółem dziesięć mistrzostw Szkocji, zdobył Puchar Szkocji oraz dziewięć razy unosił w górę Puchar Ligi Szkockiej. Dwa razy, w 1992, i 1993 zdobył Europejski Złoty But, czyli nagrodę dla najlepszego strzelca lig europejskich w danym sezonie, został też wybrany Szkockim Piłkarzem Roku 1992. McCoist jest liderem w klasyfikacji najlepszych strzelców w historii Rangersów – zdobył 255 bramek w samej lidze, a ogólnie strzelił ich 355), w dodatku zajmuje piąte miejsce na liście strzelców reprezentacji Szkocji z dziewiętnastoma golami zdobytymi w 61 meczach. Jest też członkiem Klubu Wybitnego Reprezentanta, który zrzesza szkockich futbolistów mających na swym koncie ponad 60 występów w kadrze narodowej. McCoist zakończył karierę w Kilmarnock FC, będąc podopiecznym trenera Bobby’ego Wiliamsona. W roku 2004 został mianowany asystentem Waltera Smitha, menedżera reprezentacji Szkocji.
McCoist wrócił do Rangers jako asystent menedżera Waltera Smitha w styczniu 2007 r.
W dniu 22 lutego2011 roku ogłoszono, że będzie nowym menedżerem Rangers od maja 2011 roku
