Kossygin wurde als Sohn eines Fabrikarbeiters geboren. Nach seiner Teilnahme am Russischen Bürgerkrieg in den Jahren 1919 bis 1921 studierte er in Petrograd und war von 1924 bis 1934 in einer Konsumgenossenschaft in Sibirien tätig. 1927 trat er in die Kommunistische Partei ein. Von 1935 bis 1936 setzte er sein Studium an der Textilhochschule in Leningrad fort und wurde anschließend Direktor einer Spinnerei. 1938 wurde er Bürgermeister Leningrads und 1939 in das Zentralkomitee der WKP (B) gewählt. Von 1940 bis 1946 bekleidete er das Amt des stellvertretenden Vorsitzenden des Rates der Volkskommissare; 1943 wurde er zum Ministerpräsidenten der RSFSR berufen.
Im Zweiten Weltkrieg hatte Kossygin einen großen Anteil an der Verteidigung Leningrads während der Einkesselung durch die deutsche Wehrmacht. Er befahl eine weitgehende Evakuierung der Stadt, von der etwa 500.000 Menschen betroffen waren. Nach dem Krieg bekleidete er bis 1960 die Funktion des stellvertretenden Ministerpräsidenten der UdSSR. Von 1948 bis 1952 war er Mitglied des Politbüros des Zentralkomitees. Weiter bekleidete er das Amt des Ministers für die Textilindustrie (1948–1953), anschließend war er für ein Jahr Minister für Konsumgüter und 1959 bis 1960 Vorsitzender der Plankommission (Gosplan). In diesem Jahr wurde er wieder in das Politbüro aufgenommen und war bis 1964 Erster Stellvertretender Ministerpräsident. Nach dem Sturz Nikita Chruschtschows am 14. Oktober 1964 wurde Kossygin dessen Nachfolger als Ministerpräsident und neben dem KPdSU-GeneralsekretärLeonid Breschnew der führende Mann in der Sowjetunion.
Ein im Englischen nach ihm „Kosygin Proposal“ genanntes Schreiben stellte 1966 in Aussicht, im Rahmen von Verhandlungen über den Atomwaffensperrvertrag eine negative Sicherheitsgarantie verbindlich zu vereinbaren. Der Vorschlag wurde der Conference on Disarmament am 3. Februar übersandt (ENDC/167 3. Februar 1966).
