Năm 1958 đến năm 1961, Trương Vạn Niên theo học khoa dự bị và khoa cơ bản tại Học viện Quân sự Nam Kinh Quân Giải phóng Nhân dân Trung Quốc.[1] Năm 1962 đến năm 1966, ông là Trung đoàn trưởng Trung đoàn 367, trực thuộc Sư đoàn 123, Quân đoàn 41 Lục quân. Năm 1966 đến năm 1968, ông là Phó Trưởng ban Tác chiến Bộ Tư lệnh Quân khu Quảng Châu. Năm 1968 đến năm 1978, ông giữ chức Sư đoàn trưởng Sư đoàn 127, Quân đoàn 43 Lục quân. Năm 1978 đến năm 1981, ông là Phó Quân đoàn trưởng Quân đoàn 43 Lục quân kiêm Sư đoàn trưởng Sư đoàn 127. Ông học tại Học viện Quân sự Quân Giải phóng Nhân dân Trung Quốc từ năm 1978 đến năm 1979. Trương Vạn Niên dẫn dắt Sư đoàn 127, Quân đoàn 43 Lục quân trong cuộc chiến tranh biên giới Việt — Trung năm 1979. Năm 1981 đến năm 1982, ông giữ chức Quân đoàn trưởng Quân đoàn 43 Lục quân. Năm 1982 đến năm 1985, ông là Phó Tư lệnh Quân khu Vũ Hán.[3]
Năm 1985 đến năm 1987, ông giữ chức Phó Tư lệnh Quân khu Quảng Châu và trở thành Phó Bí thư Quân khu kiêm Tư lệnh Quân khu Quảng Châu từ năm 1987 đến năm 1990. Năm 1990 đến năm 1992, ông giữ chức Phó Bí thư Đảng ủy Quân khu kiêm Tư lệnh Quân khu Tế Nam.[4]
Năm 1992, Trương Vạn Niên trở thành Ủy viên Quân ủy Trung ương, Tổng Tham mưu trưởng Quân Giải phóng Nhân dân Trung Quốc và Bí thư Đảng ủy Bộ Tổng Tham mưu. Tháng 9 năm 1995, ông được bầu làm Phó Chủ tịch Quân ủy Trung ương (CMC), cùng với Thượng tướng Trì Hạo Điền. Tháng 9 năm 1997, tại Đại hội Đảng Cộng sản Trung Quốc lần thứ 15, Trương Vạn Niên được bầu làm Ủy viên Bộ Chính trị, Bí thư Ban Bí thư Trung ương Đảng Cộng sản Trung Quốc, Phó Chủ tịch Quân ủy Trung ương (CMC), cùng được bầu lại làm Phó Chủ tịch CMC là Thượng tướng Trì Hạo Điền. Trương Vạn Niên tham dự các nghi lễ chuyển đổi tại Hồng Kông năm 1997 với tư cách là đại diện quân sự cao cấp duy nhất (Phó Chủ tịch Quân ủy Trung ương), cho thấy vị trí ưu việt của ông trong quân đội.[1]