그리츠코는 제34 기병사단의 사단장으로서 전쟁을 맞았고, 키예프 전투에 참가하였다. 1942년 1월 15일은 제5 기병군단의 사령관에 임명되었고, 이후 차례로 12군, 47군, 18군, 56군의 사령관을 역임하였다. 이 부대들은 모두 북코카서스 전선군에 소속되어 있었으며, 그레치코는 부대 지휘에서 두각을 나타내었다.
1943년 10월 그레치코는 제1 우크라이나 전선군 부사령관에 임명되었고, 12월에는 제1 친위군의 사령관에 임명되었다. 제1 친위군은 이반 페트로프 상급대장이 지휘하는 제4 우크라이나 전선군에 소속되어 있었으며, 헝가리와 오스트리아를 점령하는 것으로 종전을 맞았다.
종전 이후, 1953년까지 그레치코는 키에프 군관구의 사령관으로 재임했고, 1953-1957년에는 주동독 소련군 총사령관을 역임하였다. 1955년에는 소련 원수의 계급으로 승진했고, 1957-1960년에는 소련 육군 총사령관, 1960-1967년에는 바르샤바 조약 기구 총사령관, 1967년에는 소련 국방장관에 임명되었다. 그레치코는 임종시까지 국방장관으로 재임하였다. 또한 소련의 제2차 세계 대전 전사(戰史) 편집 위원회의 의장으로 재임하기도 하였다. 당직으로도 승진하여 1973년 소련공산당의 정치국 위원이 되었다. 이는 군인으로서는 게오르기 주코프 원수 이래 처음 있는 일이었다.
그레치코는 국방장관 재임당시 소련군의 현대화에 많은 공헌을 하였고, 사망 후에 크렘린 벽묘지에 안장되었다.
.svg)
