Bei den Olympischen Winterspielen gewann er ebenfalls mit der sowjetischen Nationalmannschaft, und zwar zweimal die Goldmedaille (1984 und 1988) und eine Silbermedaille (1980).
In der Sowjetunion spielte Makarow von 1978 bis 1989 für HK ZSKA Moskau. In dieser Zeit war er achtmal sowjetischer Spieler des Jahres und setzte sich neunmal an die erste Stelle der Scoring-Tabelle. Zusammen mit Igor Larionow und Wladimir Krutow bildete er die legendäre KLM-Reihe (auch Green Line), die als die beste und talentierteste Sturmreihe, die jemals Eishockey spielte, angesehen wird.
1980 und 1986 wurde Makarow von der Tageszeitung Iswestija mit dem goldenen Schläger als bester europäischer Spieler des Jahres ausgezeichnet.[1]
1989 wurde Makarow die Ausreise gestattet, um sich der NHL und den Calgary Flames, welche ihn schon beim NHL Entry Draft 1983 an 241. Stelle gezogen hatten, anzuschließen. Im Alter von 31 Jahren gewann er die Calder Memorial Trophy als Rookie des Jahres (daraufhin wurden die Regeln geändert, heute können sich nur Spieler unter 26 Jahren für diesen Preis qualifizieren – die Makarow-Regel).
In der NHL spielte er auch von 1993 bis 1995 für die San Jose Sharks (zusammen mit Larionow) und 1996 für die Dallas Stars. Seine Karriere beendete er 1998, nachdem er noch einmal eine Saison für HK ZSKA Moskau gespielt hatte.
Im April 2008 wurde Makarow vom Internationalen Eishockey-Verband (IIHF) ins All-Star Team des 20. Jahrhunderts gewählt (gemeinsam mit Wladislaw Tretjak, Wjatscheslaw Fetissow, Börje Salming, Waleri Charlamow und Wayne Gretzky). Gemäß dem deutschen Sportjournalisten und Buchautor Horst Eckert dürfte Makarow als der beste Individualist und Einzelkönner in die Eishockeygeschichte eingehen.
Im Jahre 2016 wurde Makarow mit der Aufnahme in die Hockey Hall of Fame geehrt.
Aktuell lebt Makarow wieder in Moskau und arbeitet im Sportministerium als Direktor für Finanzen.
(Legende zur Spielerstatistik: Sp oder GP = absolvierte Spiele; T oder G = erzielte Tore; V oder A = erzielte Assists; Pkt oder Pts = erzielte Scorerpunkte; SM oder PIM = erhaltene Strafminuten; +/− = Plus/Minus-Bilanz; PP = erzielte Überzahltore; SH = erzielte Unterzahltore; GW = erzielte Siegtore; 1Play-downs/Relegation; Kursiv: Statistik nicht vollständig)