Как активный петроградский коммунист, Захаров был направлен в только что начавшую формироваться Красную армию. В 1918 году окончил 2-е Советские Петроградские артиллерийские курсы. С ноября 1918 года на фронтах Гражданской войны, с декабря того же года командовал артиллерийскойбатареей в 10-й армии под Царицыном. В дальнейшем воевал против войск генерала А. И. Деникина и белых казачьих войск на Северном Кавказе и на Ставрополье. Был командиром батареи, с марта 1919 командир легкого артиллерийского дивизиона, с июля 1919 — начальник штаба артиллерии 39-й стрелковой дивизии 10-й армии. С сентября 1919 года был начальником артиллерийского снабжения 48-й и 50-й стрелковых дивизий, с сентября 1920 года — помощник начальника штаба 101-й стрелковой бригады по оперативной части в 34-й стрелковой дивизии. Участвовал во взятии Царицына, воевал на Юго-Восточном и Кавказском фронтах. В 1920—1921 годах участвовал в борьбе с политическим бандитизмом на Северном Кавказе. Летом 1919 года прошёл короткое обучение в Высшей школе штабной службы. Был ранен в бою в июне 1919 года[4].
С ноября 1921 года служил в 28-й стрелковой дивизии на должностях адъютанта командира 82-й стрелковой бригады, командира взвода учебной батареи, помощника начальника штаба по оперативной части 83-го и 74-го стрелковых полков. С ноября 1924 года был старшим помощником по оперативной части начальника штаба 25-й стрелковой дивизии. В июне 1928 — ноябре 1932 года находился на штабной работе в Белорусском военном округе: помощник начальника и начальник организационно-мобилизационного отдела управления снабжения штаба округа. С июля 1933 по февраль 1936 года был начальником оперативного отдела штаба Белорусского военного округа.
Матвея Васильевича Захарова я знал по Белорусскому военному округу, где он был начальником оперативного отдела штаба округа……
Надо сказать, что оперативный отдел штаба округа, который возглавлял М. В. Захаров, резко выделялся среди большинства приграничных округов своей сколоченностью, подготовленностью и общей оперативной культурой. Несколько позже М. В. Захаров успешно командовал стрелковым полком в Бобруйске. Возглавляя штаб 2-го Украинского фронта, Матвей Васильевич был хорошей опорой для командующего фронтом И. С. Конева.
С 22 по 28 июня 1941 года занимал должность начальника штаба 9-й армии. Совершил выдающийся и по тем временам исключительно рискованный поступок: сделав вывод из имеющихся данных об опасности нападения врага на СССР, поздно вечером 21 июня 1941 года отдал приказ о приведении войск округа в боевую готовность, о занятии приграничных укреплений и выводе войск из мест постоянной дислокации, о немедленном перемещении авиации по полевым аэродромам (в ряде публикаций указывается, что Захаров убедил отдать такой приказ командующего округом Я. Т. Черевиченко, однако сам Черевиченко в своих воспоминаниях указывает именно на инициативу Захарова)[7]. Начало войны подтвердило правильность данного приказа, а войска округа избежали разгрома и организованно вступили в бой. Советский ас-истребитель маршал авиацииА. И. Покрышкин, служивший перед войной в ВВС Одесского военного округа, вспоминает в своих мемуарах «Небо войны», что когда утром 22 июня вражеская авиация разбомбила постоянный аэродром его полка, там оказался уничтоженным единственный находившийся на аэродроме самолёт, не успевший накануне перелететь на запасной аэродром из-за поломки[8]. Противнику удалось нанести удар только по аэродромам в Бендерах и Гросулово, где самолёты не смогли подняться в воздух с размытого дождями лётного поля[9].
Коротко объяснив ситуацию и передав содержание разговора с наркомом, я приказал Захарову поднять все приграничные войска по боевой тревоге, а войскам округа занять оборонительные рубежи, согласно плану, и быть готовыми встретить врага огнем. М. В. Захаров проявил исключительную оперативность и инициативу. Ещё до моего приказа, узнав от командования Черноморского военно-морского флота о надвигающейся опасности, он одновременно с отдачей распоряжения о повышении боевой готовности командующему ВВС округа генерал-майору Ф. Г. Мичугину приказал командирам корпусов вывести войска по боевой тревоге из населенных пунктов. Частям прикрытия был отдан приказ занять свои районы и установить связь с пограничными отрядами. Все это обеспечило организованное поведение частей и соединений Одесского военного округа в развернувшихся затем событиях.
— Черевиченко Я. Т. Война. Народ. Победа. 1941 – 1945: Статьи. Очерки. Воспоминания. /Составители Данишевский И.М., Таратута Ж.В. Кн. 1. – 2-е изд., доп. – М.: Политиздат, 1983. – 231 с.
С 10 июля по 4 августа 1941 года — начальник штаба Главного командования войск Северо-Западного направления[10], но был снят по требованию главкома войск направления маршала К. Е. Ворошилова, возмущённого рядом оперативных решений, принятых Захаровым в отсутствие часто выезжавшего на фронт маршала[11]. С августа 1941 года — заместитель начальника Главного управления Тыла Красной армии, но в этом должности был недолго: при выезде на фронт попал в автомобильную аварию, получил тяжелые травмы и несколько месяцев был в госпитале[11]. С декабря 1941 года и до конца войны — в действующей армии, последовательно занимал должности начальника штаба Калининского (с декабря 1941), Резервного (с апреля 1943), Степного (с июня 1943), 2-го Украинского (с октября 1943 по май 1945) фронтов. Длительное время был начальником штаба разных фронтов при командующем И. С. Коневе (с декабря 1941 до мая 1944, с перерывом).
С апреля 1960 года — начальник Генерального штаба Вооружённых сил СССР. В марте 1963 года понижен в должности до начальника Военной академии Генерального штаба ВС СССР (в некоторых мемуарах упоминается о предшествующем этому событию конфликте Захарова с Н. С. Хрущёвым по какому-то военному вопросу, сам Хрущёв в своих мемуарах утверждал, что настаивал на смещении Захарова из-за его возраста[14] при том, что Захаров был на 4 года моложе его самого). Сразу после отстранения Хрущёва от власти, в ноябре 1964 года Захаров повторно назначен вместо погибшего в авиакатастрофеСергея Бирюзова начальником Генерального штаба Вооружённых сил СССР — первым заместителем Министра обороны СССР. В 1967 году находился в длительной командировке в Египте во главе большой советской военной делегации, решая вопросы восстановления египетской армии после разгрома от Израиля в Шестидневной войне, вёл переговоры с президентом Г. Насером[15].
Хрущёв в своих воспоминаниях назвал М. В. Захарова открывшим «движение сталинистов»[14].
М. B. Захарова я просто побаивался, хотя знал его больше… Для меня Захаров был грозным начальником, которому лучше не попадаться на глаза. Но в то же время хотелось бы отметить его справедливость. Это мне было известно по прежней работе начальником оперативного отдела армии. Зря он никогда никого не обижал и не наказывал, хотя порой был и грубоват…
Захаров был резким, требовательным руководителем, который не особенно выбирал выражения при «работе» с личным составом, и, на первый взгляд, не производил впечатления интеллигентного и высокообразованного человека. Но на самом деле это был потрясающе эрудированный и всесторонне образованный военачальник. К тому же он обладал уникальным природным даром, скорее даже талантом, — быстрочтения. Захаров внимательно изучал все военно-теоретические журналы, книги, сборники по военной тематике. Стол его всегда был завален литературой, генерал следил за всеми новинками военной мысли.…
— Мильштейн М.А Сквозь годы войн и нищеты. // М.: ИТАР-ТАСС. — 2000.
От Будапешта до Праги. // 9 Мая 1945 года. / Под редакцией члена-корреспондента АН СССР А. М. Самсонова. — М.: Наука, 1970.
Ученый и воин. О Маршале Советского Союза Б. М. Шапошникове. — М.: Политиздат, 1974. — 112 с. — (Герои Советской Родины).
Генеральный штаб в предвоенные годы. — М.: Воениздат, 1989[19].
Учебные пособия и методические работы
Питание патронами в бою. — М.: Госиздат; Л.: Отдел военной литературы, 1927. — 32 с.[20]
Операция на окружение.
Тактика высших соединений.
Человек и техника.
О принципах и методах военного обучения.
Турция (в соавт. с Аврущенко А. С.) — Тбилиси: [б. и.], 1957 (Политуправление Закавказского ВО).
О научном подходе к руководству войсками. — М.: Воениздат, 1967.
Защита Отечества – священный долг гражданина СССР. – М., 1969.
Коллективные научные труды под руководством М. В. Захарова
Будапешт — Вена — Прага.: Историко-мемуарный труд / Под общ. ред. Маршала Советского Союза Р. Я. Малиновского. — М.: Наука, 1965[21].
Финал: Историко-мемуарный очерк о разгроме империалистической Японии в 1945 г. / Под общ. ред. Маршала Советского Союза М. В. Захарова. — 2-е изд. — М.: Наука, 1969.
В. И. Ленин и военная история / Ред. коллегия: М. В. Захаров (глав. ред.) и др. — М.: Воениздат, 1970.
Освобождение Юго-Восточной и Центральной Европы войсками 2-го и 3-го Украинских фронтов. (1944-1945) / Под общ. ред. Маршала Советского Союза М. В. Захарова. — М.: Наука, 1970.
Корсунь-Шевченковская битва / Ред. коллегия: Маршал Сов. Союза М. В. Захаров и др. — 2-е изд. — Киев: Политиздат Украины, 1975. — 303 с.
Начальный период Великой Отечественной войны и его уроки. // Военно-исторический журнал. — 1961. — № 1. — С.3—14.
О советском военном искусстве в битве под Курском (К 20-летию разгрома немецко-фашистских войск под Курском). // Военно-исторический журнал. — 1963. — №№ 6, 7.
Молниеносная операция (из опыта 2-го Украинского фронта в Ясско-Кишиневской операции). // Военно-исторический журнал. — 1964. — № 8. — С.15—28.
Советское военное искусство в операциях по освобождению Венгрии (По опыту 2-го Украинского фронта). // Военно-исторический журнал. — 1965. — № 2. — С.12—22.
↑Покрышкин А. И. Небо войны. — 6-е изд. — М.: Воениздат, 1980. — 447 с. — (Военные мемуары).
↑Черевиченко Я. Т. Война. Народ. Победа. 1941—1945: Статьи. Очерки. Воспоминания. Кн. 1. — 2-е изд., доп. — М.: Политиздат, 1983. — С.5-9.
↑Гуркин В. Некоторые вопросы из опыта создания и деятельности главных командований войск направлений в первом периоде Великой Отечественной войны. // Военно-исторический журнал. — 1984. — № 7. — С.11—19.
↑Корейская Народно-Демократическая Республика // Ежегодник Большой Советской Энциклопедии, 1971 (вып. 15). М., «Большая Советская энциклопедия», 1971. стр.302-303
Абрамов А. С. У Кремлёвской стены. – Изд. 7-е, доп. – М.: Политиздат, 1987.
Дважды Герои Советского Союза. – М.: Воениздат, 1973.
Колпакиди А., Север А. ГРУ. Уникальная энциклопедия. — М.: Яуза; Эксмо, 2009. — С. 692—693. — 720 с. — (Энциклопедия спецназа). — 5000 экз. — ISBN 978-5-699-30920-7.
Люди бессмертного подвига. Кн. 1. – М., 1975.
Грязнов Б. З. Дорогой солдата. — Л.: Лениздат, 1968.
Грязнов Б. З. Маршал Захаров. — М.: Воениздат, 1979. — 152 с. — (Советские полководцы и военачальники).
Маковеев М. С. Страницы героической жизни. — М.: Политиздат, 1975. — 111 с. — (Герои Советской Родины).
Рубцов Ю. В. Маршалы Советского Союза. Личные дела рассказывают. – М., 1996.
Терещенко М. Н. «… Человек неукротимой энергии и высокой штабной культуры». К 60-летию Победы: Маршал Советского Союза М. В. Захаров. // Военно-исторический журнал. — 2003. — № 9.