Син залізничного службовця — кондуктора Тифліської залізниці. У 1910 році за несплату був відрахований з п'ятого класу реального училища. З 15 років почав працювати шевцем, потім робітником заводу цементних виробів, розсильним в управлінні Закавказьких залізниць. Після смерті батька переїхав з матір'ю на її батьківщину, в село Капустін Яр Астраханської губернії.
У 1912 році призваний на строкову службу в російський імператорський флот. У вересні 1912 року поступив в Кронштадтську школу юнг, яку закінчив у 1914 році. У 1914—1915 роках — в навчально-артилерійському загоні Балтійського флоту. Служив на Балтійському флоті, плавав кочегаром, машиністом, електриком на крейсері «Богатир» та лінкорі «Олександр ІІІ», потім був старшиною 12-ти дюймової артилерійської башти берегової батареї. Учасник Першої світової війни. У 1916 року отримав звання артилерійського унтер-офіцера І-ї статі. У 1917 році обраний головою матроського комітету батареї одного із фортів на Балтиці. У вересні 1917 року звільнився із флоту через хворобу.
У лютому 1919 року добровільно вступив в Морські сили РККА, учасник Громадянської війни 1918—1920 років на кораблях Астрахано-Каспійської і Волзько-Каспійської військових флотилій. Служив комендором та командиром батареї.
З серпня 1920 року — командир артилерійського плутонга (батареї), а з травня 1921 по січень 1924 року — 2-й помічник командира лінкору «Петропавловськ» (з березня 1921 — «Марат»). У березні 1921 року брав участь у придушенні Кронштадтського повстання.
З січня 1924 по лютий 1925 року — слухач штурманського класу Спеціальних курсів командного складу ВМС СРСР. У липні — листопаді 1924 року брав участь в переході з Архангельська у Владивосток на посильному судні «Воровський».
З 1925 року служив на Балтійському флоті. У лютому — листопаді 1925 року — штурман есмінця «Ленін». У листопаді 1925 — червні 1926 року — помічник командира есмінця «Зінов'єв». У червні 1926 — лютому 1927 року — помічник командира крейсера «Профінтерн».
З лютого 1927 року служив на Чорноморському флоті. У лютому 1927 — листопаді 1931 року — командир ескадреного міноносця «Дзержинський». У листопаді 1931 — січні 1934 року — командир крейсера «Профінтерн».
У січні — березні 1932 року — слухач тактичних курсів командирів кораблів при Військово-морській академії імені Ворошилова.
У січні 1934 — вересні 1935 року — командир дивізіону есмінців Чорноморського флоту. У вересні 1935 — серпні 1937 року — командир бригади крейсерів Чорноморського флоту.
У серпні 1937 — січні 1938 року — начальник штабу Чорноморського флоту.
У грудні 1937 — січні 1938 року — тимчасовий виконувач обов'язків командувача, а у січні 1938 — березні 1939 року — командувач Чорноморського флоту.
З березня 1939 року по січень 1947 року командував Тихоокеанським флотом. У серпні—вересні 1945 року успішно сприяв військам 1-го і 2-го Далекосхідних фронтів в розгромі Квантунской армії, Тихоокеанський флот захопив Південний Сахалін та Курильські острови. За уміле керівництво флотом і проявлену мужність адміралові Юмашеву Івану Степановичу Указом Президії Верховної Ради СРСР від 14 вересня 1945 року присвоєно звання Героя Радянського Союзу з врученням ордену Леніна і медалі «Золота Зірка».
17 січня 1947 — 20 липня 1951 року — головнокомандувач Військово-морських сил СРСР. Одночасно, 17 січня 1947 — 25 лютого 1950 року — заступник міністра Збройних сил СРСР; 25 лютого 1950 — 20 липня 1951 року — міністр військово-морського флоту СРСР. З лютого 1950 по серпень 1951 року також був членом Бюро із військово-промислових і військових питаннях при РМ СРСР.
У серпні 1951 — січні 1957 року — начальник Військово-морської ордена Леніна академії імені Ворошилова у Ленінграді.
У січні 1957 року звільнений у відставку. Похований на Серафимовському цвитарі міста Ленінграда (Санкт-Петербурга).