Andropov fæddist þann 15. júní árið 1914 og var sonur járnbrautarverkamanns. Andropov hóf verkamamannavinnu í Ossetíu þegar hann var 16 ára og gekk í ungliðahreyfingu sovéska kommúnistaflokksins árið 1936.[1] Eftir Vetrarstríðið árið 1940 var Andropov sendur til Karelíu til þess að koma á skipulagi þar eftir að landið hafði verið hernumið frá Finnlandi.[2] Andropov vakti athygli stjórnvalda með frammistöðu sinni í Karelíu og kleif síðan upp metorðastigann í Sovétríkjunum á næstu árum. Árið 1951 hóf Andropov störf hjá miðstjórn kommúnistaflokksins.[1]
Þegar Níkíta Khrústsjov komst til valda árið 1953 var Andropov settur yfir fjórðu deild utanríkisráðuneytisins og hafði þar með umsjón yfir samskiptum við Austur- og Vestur-Þýskaland, Austurríki, Pólland og Tékkóslóvakíu. Hann varð sendiherra Sovétmanna í Ungverjalandi árið 1954. Á sendiherratíð Andropovs þar árið 1956 var gerð uppreisn í Ungverjalandi og átti Andropov drjúgan þátt í því að kveða hana niður. Andropov fullvissaði Imre Nagy, nýjan forsætisráðherra Ungverjalands, um að Sovétmenn myndu ekki gera innrás til þess að berja niður uppreisnina. Á bak við tjöldin sannfærði hann hins vegar Khrústsjov um að senda herafla til Ungverjalands til þess að gera einmitt það.[3] Aðeins einum degi síðar voru skriðdrekar sovéska hersins komnir til Búdapest.[2] Eftir að uppreisnin var kveðin í kútinn tók Andropov þátt í því að gera lepp Sovétmanna, János Kádár, að nýjum forsætisráðherra Ungverjalands.[2]
Andropov var kjörinn í miðstjórn kommúnistaflokksins árið 1961 og varð næsta ár einn af riturum miðstjórnarinnar og síðar yfirmaður öryggisnefndar Sovétríkjanna.[1] Helsta verkefni hans var að kveða niður uppreisnarhreyfingar í Austur-Evrópu.[2] Árið 1967 varð Andropov formaður sovésku leynilögreglunnar KGB. Stofnunin var á þessum tíma í niðurníðslu og hafði misst fleiri en 100 njósnara á alþjóðavísu.[2] Andropov var falið að koma á umbótum í starfsemi KGB og auka virðingu á stofnuninni. Þetta gerði hann meðal annars með því að fá sovéska rithöfunda til þess að skrifa glæpasögur þar sem starfsmann KGB voru settir í hlutverk aðalhetjunnar.[2] Hann viðhélt harkalegum aðgerðum KGB gagnvart andófsmönnum og átti þátt í því að gera andófsmenn á borð við Aleksandr Solzhenítsyn brottræka.[2] Undir stjórn Andropovs var starfsmönnum KGB fjölgað og urðu þeir um 500.000 talsins.[4]
Andropov var kjörinn í framkvæmdanefnd kommúnistaflokksins árið 1973,[1] fyrstur KGB-manna frá því á stjórnartíð Stalíns.[2] Eftir að Leoníd Brezhnev lést árið 1982 var Andropov kjörinn nýr aðalritari sovéska kommúnistaflokksins og varð þar með æðsti stjórnandi Sovétríkjanna.[4] Sem aðalritari viðraði Andropov hugmyndir um róttækar umbætur til þess að koma á vinnubrögðum að vestrænni fyrirmynd í sovéskri stjórnsýslu.[5] Andropov boðaði einnig afvopnunarstefnu í Austur-Evrópu.[6] Hann kom þó fáu af þessu í verk þar sem hann var heilsuveill þegar hann tók við stjórninni og lést síðan þann 9. febrúar 1984 eftir aðeins rúmt ár við stjórnvölinn.