Étudiant en histoire et littérature à l'Institut de philosophie et lettres de Moscou, Alexandre Chelepine termine ses études en 1935. Il entre au Parti communiste en 1940 et devient secrétaire général du Komsomol — les jeunesses communistes — de Moscou en 1943.
Il est alors un propagandiste au sein des mouvements étudiants soviétiques. Il représente l'Union soviétique à partir de 1945 dans toutes les manifestations internationales d'étudiants ou de jeunesse inspirées par les communistes.
Il est la cheville ouvrière de la création de l'Union internationale des étudiants (UIE), puis l'inamovible vice-président jusqu'à son entrée, en 1952, au Comité central du Parti communiste de l'Union soviétique.
Sous sa férule, l'UIE devient une école des cadres communistes qui assure la formation des « hauts fonctionnaires » de tous les partis communistes étrangers. « L'emprise de la police d'État soviétique sur l'UIE se prolonge ainsi dans tous les PC par l'intermédiaire des “anciens de l'UIE” [2] », en même temps que le KGB forme et infiltre par son intermédiaire de nombreux agents d'influence ou espions. Il n'est pas étonnant que Chelepine soit devenu plus tard chef du KGB : il en connaissait bien les rouages en Occident et dans le Tiers-Monde.
Après la mort de Staline en 1953, Khrouchtchev le nomme premier vice-président du NKVD, devenu en 1954 le KGB. Il en devint le chef en 1958, et ce jusqu'en 1961, entrant au Politburo au passage. Il accompagne Khrouchtchev lors de son voyage en Chine en 1954. La même année, il devint membre du Soviet suprême de l'Union soviétique et le reste jusqu'en 1979.
Après son remplacement en tant que président du KGB par son protégé Vladimir Semitchastny, le , il est jusqu'en 1967 secrétaire du Comité central, responsable des organes de sécurité de l'URSS.
Comme secrétaire du parti, il conserve un contrôle sur le KGB. De 1962 à 1965, il est vice-Premier ministre dans les cabinets de Khrouchtchev et d'Alexeï Kossyguine. Il devint en 1962 également président de la Commission de Contrôle du Parti. Le bureau lui donna de larges pouvoirs administratifs.
Il est l'un des artisans de la chute de Nikita Khrouchtchev en 1964, mais, bien que pressenti pour lui succéder, il est écarté du pouvoir progressivement par Leonid Brejnev, perdant une à une toutes ses fonctions, jusqu'à perdre sa place au Politburo le . En 1976, il n'est plus membre du XXVe Comité central du PCUS.
