Када је почела Немачка инвазија на Совјетски Савез, јуна 1941, Москаленко је био командант противтенковске бригаде. Између јуна 1941, и марта 1942, Москаленко је био командант следећих формација, овим редом: 1. противтенковска бригада, XV стрељачки корпус, 6. армија, и VI коњички корпус. Био је командант реформисане 38. армије од марта до јула 1942. Затим је био командант 1. тенковске армије (јули - август 1942), 1. гардијске армије (август - октобар 1942), пре него што је коначно добио команду над 40. армијом, што је дужност коју ће држати до октобра 1943. Москаленко је предводио своје трупе током зимске противофанзиве и током Курске битке. Због бројних доприноса у многим кључним биткама, као што су Московска, Стаљинградска, и Курска битка, битка на Дњепру Москаленко је добио звање Хероја Совјетског Савеза.[3]
Од октобра 1943, до краја рата, Москаленко је био командант 38. армије. Предводио је ову армију при избацивању Немаца из Украјине, Пољске, и Чехословачке. Након рата, Москаленко је служио на разним позицијама у Московском војном округу, пре него што је постављен за команданта 1953.
25. јула 1953, Хрушчов је од њега тајно затражио да ухапси Берију, што је и учињено наредног дана током састанка Президијума, уз помоћ маршала Жукова. Због страха који је совјетска влада имала од раста популарности Жукова, није могао да унесе пиштољ у Кремљ. Москаленко се ушуњао у Кремљ са пиштољем како би ухапсио Берију. Током наредних шест месеци, он и Руденко су истраживали „Случај Берија“. Децембра 1953, совјетски врховни суд је прогласио Берију кривим, након пет дана суђења. 23. децембра је стрељан.
Москаленку, заједно са петорицом других команданата, је 11. марта1955. дат чин Маршал Совјетског Савеза. Москаленко је остао у Московском војном округу до 1960, када је постављен за главнокомандујућег Стратешки ракетних снага. 1962. је постављен за Генералног инспектора Министарства одбране. Умро је 17. јуна, 1985, и сахрањен је на гробљу Новодевичије.
