In de beginjaren van de twintigste eeuw sloot Mikojan zich aan bij de bolsjewieken en vocht hij in Bakoe (in het huidige Azerbeidzjan) tegen de aanhangers van tsaar Nicolaas II. Mikojan stond zeer dicht bij Stalin en bekleedde diens hele regeerperiode zeer hoge functies. Na de dood van Stalin werd Mikojan onder Chroesjtsjov de tweede man van de Sovjet-Unie. Anastas Mikojan stierf op 82-jarige leeftijd een natuurlijke dood.
Anastas Mikojan werd geboren in Sanahin (Armenië) als zoon van een tapijtwever. Mikojan genoot een theologische opleiding, iets wat hem nader tot Stalin bracht.
Na de Februarirevolutie van 1917 vocht Mikojan in Azerbeidzjan tegen pro-tsaristische groepen. Mikojan werd als commissaris van de Kaukasus samen met 25 andere commissarissen opgepakt, waarna alle 26 commissarissen ter dood werden veroordeeld. Wonderbaarlijk genoeg overleefde Mikojan dit als enige. Hij zette de strijd voort en raakte gewond.
Na de dood van Lenin bekleedde Mikojan verschillende hoge posities, waaronder die van Commissaris voor Buitenlandse Handel. Mikojan was een van de belangrijkste personen in Stalins omgeving en zijn aanzien steeg nog meer toen een van zijn zoons omkwam bij de Slag om Stalingrad.
Eind jaren 40 raakten Mikojan en Molotov bij Stalin in ongenade. Stalin keerde zich steeds meer tegen zijn twee oudgedienden, waardoor beiden moesten vrezen voor hun leven. Dit is hoogstwaarschijnlijk van grote invloed geweest op de memoires van Mikojan (die na de opening van de Sovjetarchieven in de jaren 90 beschikbaar kwamen), waarin hij zelden positief over Stalin spreekt. Als voorstander van de destalinisatie steunde hij de geheime redevoering die Chroesjtsjov in 1956, drie jaar na de dood van Stalin, hield.
Mikojan werd vaak naar het buitenland gestuurd om de verhouding met zusterpartijen te regelen. Zo ging hij in oktober 1956 samen met Soeslov naar Boedapest, om te onderhandelen met de nieuwe Hongaarse regering van Imre Nagy. Na de machtsgreep van Fidel Castro werd Mikojan door Chroesjtsjov naar Cuba gestuurd om verdragen met de Cubanen af te sluiten. Tijdens de Cuba-crisis heeft Mikojan een doorslaggevende rol gespeeld bij de verwijdering van de kernraketten van het eiland.
Toen Leonid Brezjnev in juli 1964 de Sovjet-leiding van Nikita Chroesjtsjov overnam en als staatshoofd aftrad, werd Mikojan president van de Sovjet-Unie. In 1965 ging hij met pensioen, maar achter de schermen had hij nog veel invloed. Anastas Mikojan stierf in 1978.