W 1939 uczestniczył w agresji na Polskę, a następnie w wojnie zimowej z Finlandią. Po ataku Niemiec na ZSRR od początku uczestniczył w walkach kolejno jako dowódca batalionu czołgów, dowódca pułku czołgów i zastępca dowódcy brygady pancernej.
W okresie od marca do maja 1942 będąc w stopniu pułkownika formował a następnie został dowódcą 91 Brygady Pancernej. Brygada dowodzona przez niego weszła w skład 4 Armii Pancernej, później 24 Armii i 66 Armii Frontu Stalingradzkiego, a następnie 65 Armii Frontu Dońskiego i 21 Armii. W tym okresie brygada walczyła w rejonie Stalingradu. Za zasługi w tej bitwie płk Iwan Jakubowski został odznaczony Orderem „Czerwonego Sztandaru”.
Wiosną 1943 dowodzona przez Jakubowskiego 91 Brygada Pancerna weszła w skład 3 Gwardyjskiej Armii Pancernej i brała udział w następujących operacjach: orłowskiej, bitwie o Dniepr, kijowskiej, żytomiersko-berdyczowskiej. 10 stycznia 1944 za męstwo podczas forsowania Dniepru i wyzwolenia Fastowa został wyróżniony tytułem Bohatera Związku Radzieckiego.
W czerwcu 1944 mianowany zastępcą dowódcy 6 Gwardyjskiego Korpusu Pancernego a od stycznia 1945 zastępcą dowódcy 7 Gwardyjskiego Korpusu Pancernego, w tym czasie uczestniczył w operacjach: lwowsko-sandomierskiej, sandomiersko-śląskiej i górnośląskiej. 23 września 1944 wyróżniony po raz drugi tytułem Bohatera Związku Radzieckiego. W 1945 awansowany do stopnia generała-majora wojsk pancernych. Uczestniczył w operacji berlińskiej i praskiej.
Po zakończeniu II wojny światowej studiował w Wojskowej Akademii Sztabu Generalnego im. K. J. Woroszyłowa, którą ukończył w 1948. Po jej ukończeniu został dowódcą dywizji pancernej, a następnie dowódcą wojsk pancernych i zmechanizowanych Leningradzkiego Okręgu Wojskowego, Przykarpackiego Okręgu Wojskowego a następnie dowódcą 1 Gwardyjskiej Armii Pancernej w Dreźnie.
Od lipca 1957 do kwietnia 1960 i od sierpnia 1961 do stycznia 1962 był I zastępcą głównodowodzącego Grupy Wojsk Armii Radzieckiej w NRD, a od kwietnia 1960 do sierpnia 1961 i od stycznia 1962 głównodowodzącym tej grupy. W 1965 mianowany dowódcą Kijowskiego Okręgu Wojskowego.
W 1967 mianowany I zastępcą ministra obrony ZSRR, a w lipcu 1967 równocześnie dowódcą naczelnym Zjednoczonych Sił Zbrojnych Państw Stron Układu Warszawskiego, którą to funkcję pełnił do śmierci. 12 kwietnia 1967 mianowany marszałkiem Związku Radzieckiego.
