Елмо Рассел Зумвалт народився 29 листопада1920 року в Сан-Франциско, штат Каліфорнія, у родині лікарів Елма Рассела Зумвалта та його дружина Френсіс Перл (Френк) Зумвалт. У дитинстві Зумвалт навчався у середній школі в Тулейрі та підготовчій школі Резерфорда в Лонг-Біч, Каліфорнія.
У 1939 році Елмо Зумвалт молодший був прийнятий до Військово-морської академії США в Аннаполісі, штат Меріленд. 19 червня 1942 року він закінчив з відзнакою вищий військовий навчальний заклад та отримав звання енсин. Він також отримав почесний ступінь у Техаському технічному університеті.
Після закінчення Другої світової війни в серпні 1945 року Зумвалт службу на флоті. 8 грудня 1945 року став офіцером призової команди по захопленню 1200-тонного японського річкового канонерського човна«Атака» з екіпажем у 200 моряків на річці Хуанпу в Шанхай, Китай.
У подальшому Зумвалт служив на посаді старшого офіцера на ескадреному міноносці «Сауфлі», а з березня 1946 року на есмінці «Зелларс», як старший офіцер і штурман. З січня 1948 до червня 1950 навчався на курсах Корпусу підготовки офіцерів резерву при університеті Північної Кароліни. Після завершення навчання прийняв командування над ескортним міноносцем«Тіллз». Зумвалт командував кораблем до березня 1951 року, поки не прийняв посадку штурмана на лінкорі «Вісконсін», на якому він служив під час ведення бойових дій у Кореї.
У червні 1952 році він поступив до Воєнного коледжу ВМС у Ньюпорті (Род-Айленд), який успішно закінчив у липні 1953 року. Проходив службу на штабних посадах, доки у липні 1955 року не отримав посаду командира есмінця «Арнольд Ісбелл», у складі 7-го флоту США. На цій посаді він отримав похвальні відгуки від командувача силами крейсерів і міноносців Тихоокеанського флоту за перемогу свого корабля в конкурсі бойової ефективності і за здобуття вищих відзнак за досягнуті успіхи в технічній, вогневій, протичовновій підготовці особового складу та в оперативних діях. У липні 1957 він повернувся в бюро військово-морського персоналу для подальшого проходження служби. У грудня 1957 він був переведений до апарату помічників міністра флоту (персонал і війська запасу) і прослужив спеціальним помічником у справах персоналу ВМФ до листопада 1958. До серпня 1959 року Зумвалт ста спеціальним асистентом і військово-морським помічником.
У 1959 прийняв командування над першим ракетним фрегатом«Д'юї». Під його командою фрегат здобув високих показників у бойовій підготовці та посів друге місце в конкурсі бойової ефективності кораблів флоту. У червні 1961 року Зумвалт поступив на навчання до Національного воєнного коледжу у Вашингтоні. У червні 1962 року, після здобуття вищої військової освіти, отримав призначення в офіс помічника міністра оборони (у справах міжнародної безпеки) у Вашингтоні, де спочатку він служив як штабний офіцер у справах Франції, Іспанії та Португалії, потім як директор контролю над озброєннями й оперативного планування у справах Куби. З грудня 1963 по 21 червня 1965 року він служив виконавчим помічником і старшим ад'ютантомміністра ВМСПола Х. Нітце.
24 липня1965 року прийняв 7-му флотилію крейсерів та есмінців у Сан-Дієго, одночасно йому присвоїли звання контрадмірала. З серпня 1966 до серпня 1968 року він служив директором відділу системного аналізу OPNAV (OP-96). У вересні 1968 року він став командувачем Військово-морськими силами США у В'єтнамі і головою Військово-морської консультативної групи Військового командування США у В'єтнамі (MACV), а в жовтні 1968 року отримав звання віцеадмірала.
У квітні 1970 року Президент Річард Ніксон номінував кандидатуру Зумвалта на посаду керівника військово-морськими операціями. 1 липня1970 року Зумвалт перебрав на себе обов'язки керівника військово-морськими операціями, найвищу посаду в американських ВМС, отримавши звання повного адмірала. Він швидко розпочав низку кроків, спрямованих на зменшення расизму та сексизму у ВМС.
Зумвалт зосередив свої зусилля на заміні великої кількості бойових кораблів епохи Другої світової війни, план під назвою «Високий-Низький». Він прагнув збалансувати закупівлю кораблів великої вартості, що працюють на ядерній енергії, з дешевшими — такими як кораблі з морського контролю — які можна було придбати в більшій кількості. Хайман Ріковер, «батько ядерного флоту», вважав за краще придбати кілька кораблів основних класів, аніж купувати багато звичайних. У свою чергу Зумвалт запропонував зосередитися на розробці та закупівлі чотирьох видів військових кораблів, які мали б задовольнити потреби флоту в умовах Холодної війни; врешті-решт, лише ракетно-патрульні катери на підводних крилахтипу «Пегас» та керовані ракетні фрегати типу «Олівер Газард Перрі» були реалізовані. Але «Олівер Газард Перрі» був найпопулярнішим класом військових кораблів США після Другої світової війни до появи есмінців типу «Арлі Берк».
1 липня1974 року Елмо Зумвалт-молодший звільнився з лав американських ВМС у віці 53 років.