В июне 1932 года призван на службу в Рабоче-крестьянскую Красную Армию. Окончил Военно-теоретическую лётную школу РККА в Ленинграде, после чего его перевели из ВВС РККА в РККФ и направили учиться на морского лётчика. В 1935 году окончил Военную школу лётчиков и лётчиков-наблюдателей сухопутной и морской авиации имени Сталина в Ейске. С декабря 1935 года служил в авиации Черноморского флота лётчиком 124-й бомбардировочной авиационной эскадрильи. С января 1936 года – лётчик-испытатель в НИИ морской авиации, командир корабля морской лётно-технической станции и старший лётчик-испытатель в Научно-исследовательском институте ВМФ (при этом с октября 1937 по июль 1938 года находился в запасе, причины не известны)[5]. В 1938 году участвовал в сложном перелете Таганрог – Севастополь, за отличное выполнение задания командования в сложных метеорологических условиях командующий Черноморским флотом объявил лейтенанту Матвееву благодарность[2].
В ноябре 1940 года переведен на Тихоокеанский флот, где служил командиром звена, заместителем командира, командиром авиаэскадрильи в 16-м дальнеразведывательном авиационном полку. С октября 1943 года командовал звеном и эскадрильей в 26-м авиаполку, а затем переведён в 37-й штурмовой авиационный полк. Там служил и в годы Великой Отечественной войны.
Помощник по лётной подготовке командира 37-го штурмового авиаполка 12-й штурмовой авиационной дивизии ВВС Тихоокеанского флота капитан Яков Матвеев отличился во время советско-японской войны в августе 1945 года. Под его руководством 9 и 10 августа выполнены 3 боевых вылета ударных штурмовых групп полка на уничтожение японских транспортных кораблей в порту Юки (ныне — Унги, КНДР). Потопил лично 2 японских транспорта, а возглавляемые им группы штурмовиков — 7 транспортов[2].
После окончания войны Матвеев продолжил службу в ВМФ СССР. Вскоре после войны стал командиром 37-го гвардейского штурмового авиаполка ВВС ТОФ (гвардейское звание присвоено полку 22 августа 1945 года), затем был помощником командира 3-й минно-торпедной авиационной дивизии ВВС 5-го ВМФ и командиром 69-го отдельного разведывательного авиационного полка ВВС 8-го ВМФ на Балтийском море. В 1952 году окончил Военно-морскую академию имени К. Е. Ворошилова[6]. Освоил несколько типов реактивных самолётов[7]. Продолжил службу заместителем начальника по лётной подготовке 93-го военно-морского авиационного училища лётчиков первоначального обучения. С 1959 по 1969 годы — заместитель командующего авиацией Балтийского флота по тылу — начальник тыла ВВС Балтийского флота. В сентябре 1969 года в звании генерал-майора авиации Я. И. Матвеев уволен в запас[1].
Герои Советского Союза: Краткий биографический словарь / Пред. ред. коллегии И. Н. Шкадов. — М.: Воениздат, 1988. — Т. 2 /Любов — Ящук/. — 863 с. — 100 000 экз. — ISBN 5-203-00536-2.
Воробьёв М. В. Смоляне — Герои Советского Союза / М. В. Воробьёв, В. Е. Титов, А. К. Храпченков. — 3-е изд., доп. — М.: Московский рабочий, 1982. — С. 333—334. — 622 с.
Герои огненных лет. — М.: Московский рабочий, 1978. — Кн. 3. — С. 615–620.
Герои Советского Союза Военно-Морского Флота. 1937—1945. — М.: Воениздат, 1977. — С. 319.
Золотые Звёзды тихоокеанцев. — Владивосток, 1982.
Королёв В. Т. Герои Великого океана. — 2-е изд. — Владивосток, 1972. — С. 90—93.