С 1869 года в армии; окончил Военную академию в Берлине (1878), с 1880 зачислен на службу в Большом Генеральном штабе, с 1888 года — адъютант дяди графа Мольтке Старшего, а 1891 года — Вильгельма II. В 1899—1902 гг. — командир 1-й гвардейской пехотной бригады, затем 1-й гвардейской пехотной дивизии, с 1904 г. генерал-квартирмейстер Большого генерального штаба. В 1906 году сменил графа Альфреда фон Шлиффена на посту начальника Большого генерального штаба Германской империи. В отличие от Шлиффена считал предстоящую мировую войну не скоротечной, а «истинно народной». Нарушил целостность составленного своим предшественником плана и ослабил главный ударный т. н. «правый фланг» в войне против Франции. Под давлением кайзера Вильгельма II усилил второстепенное направление в Лотарингии в целях «защиты Южной Германии от французского вторжения», но в целом оставил без изменений главную стратегическую основу плана Шлиффена.
С началом Первой мировой войны, Мольтке Младший — начальник Полевого Генерального Штаба, фактически именно в его руках сосредоточились нити управления германскими войсками. При развёртывании германской армии допустил ещё большее отклонение от довоенного плана развёртывания войск, всего против Франции было развёрнуто 34 армейских корпуса и 4 кавалерийских корпуса, около 1,6 миллиона человек при 5000 орудий. Против России развертывалась в Восточной Пруссии 8-я Армия генерала Максимилиана фон Притвица — 200 тыс. чел. при 1000 орудий. Неверно оценив положение 8-й Армии и предполагая её разгром превосходящими силами русского Северо-Западного фронта, Мольтке совершил величайшую стратегическую ошибку, приказав 25 августа снять с направления главного удара на Западном фронте два армейских корпуса для отправки их на восток, тем самым было окончательно изменено соотношение германских и французских войск накануне решающей для исхода всей Первой мировой войны битвы на Марне.
Ввиду допущенных при развёртывании войск грубых ошибок было ослаблено ударное т. н. «правое крыло» германских армий, наступавших в общем направлении на Париж, и из-за того, что Мольтке предоставил командующим армиями полную свободу в начале сентября1914 г., возник серьёзный кризис: во фланг рвущейся в направлении Парижа 1-й немецкой армии генерала А. фон Клука ударила сформированная из резервов 6-я французская армия генерала М. Монури, тогда Мольтке отправил с особой миссией в войска, наступавшие на Париж, подполковника Р. Хенча с заданием точно выяснить положение атакованных во фланг немецких войск. 9 сентября выпустившие окончательно из своих рук нити командования Вильгельм II (Верховный Главнокомандующий) и Мольтке, разуверившись окончательно в успехе кампании, отдали приказ армиям «правого фланга» отступить. На следующий день по приказу Мольтке начал отступление германский «центр». Тем самым признавалось поражение германских войск в битве на Марне и, как следствие, невозможность выиграть войну вообще.
Полностью морально сломленный Мольтке 14 сентября 1914 г. был снят с поста начальника Полевого Генерального Штаба и заменён прусским военным министром ген. Э. фон Фалькенхайном. Умер в 1916 году в Берлине. После себя оставил мемуары «Воспоминания-письма-документы 1877—1915 гг.», где содержатся психологические причины постигшей в августе-сентябре 1914 г. Германию неудачи в войне против Франции, Великобритании и России.