Štemenko lõpetas 1937. aastal Punaarmee sõjaväeakadeemia ja 1940. aasta sügisel Punaarmee Kindralstaabi Akadeemia. Ta suunati tööle Kindralstaabi operatiivvalitsusse, mille koosseisus teenis ta kogu sõjaperioodi (1941–1945). Maist 1943 kuni aprillini 1946 oli ta operatiivvalitsuse ülem. Novembris 1943 saatis Štemenko Kõrgemat ülemjuhatajat Stalinit Teherani konverentsil. Aprillis 1946 reorganiseeriti operatiivvalitsus operatiivpeavalitsuseks. Štemenko sai selle ülemaks.
1952. aastal Štemenko tagandati Jossif Stalini soovil ametist ja saadeti Nõukogude Liidu väegrupi Saksamaal staabiülemaks. Kohe pärast Stalini surma (5. märtsil 1953) alanud relvajõudude ametkondade ümberkujundamise käigus toodi Štemenko Moskvasse tagasi, kus ta määrati 16. märtsil Kindralstaabi ülema asetäitjaks. Kuid varsti pärast Lavrenti Beria vahistamist (juulis 1953) tagandati Štemenko taas ametist ja degradeeriti auastmes armeekindralist kindralleitnandini. Novembris 1953 saadeti ta Siberi sõjaväeringkonna staabiülemaks. Georgi Žukovikaitseministriks oleku ajal naasis Štemenko Moskvasse, kus ta määrati augustis 1956 Kindralstaabi luure peavalitsuse ülemaks. Novembris 1956 ülendati ta kindralpolkovnikuks. Oktoobris 1957 hoiatas Štemenko Žukovit, kes oli parasjagu visiidil Jugoslaavias, et Moskvas valmistatakse ette tema tagandamist. Pärast Žukovi mahavõtmist (oktoobri lõpul) vabastati ka Štemenko ametist (novembris 1957). Aastatel 1958–1962 teenis Štemenko perifeersetes sõjaväeringkondades, kus ta oli sõjaväeringkonna juhataja esimese asetäitja ametis.
Juulis 1962 edutati Štemenko Relvajõudude maaväe staabiülemaks ja Maaväe ülemjuhataja esimeseks asetäitjaks. Aastatel 1964–1968 töötas ta Kindralstaabi ülema asetäitjana. Veebruaris 1968 ülendati ta teist korda armeekindraliks. Augustist 1968 kuni oma surmani aprillis 1976 oli ta Kindralstaabi ülema esimene asetäitja ja ühtlasi Varssavi Lepingu Organisatsiooni relvajõudude staabi ülem.
