Under annen verdenskrig kommanderte Zhang en gerijlaenhet som ble sendt ut for å berge amerikanske bomberflymannskaper som hadde krasjlandet i Kina etter å ha bombet Tokyo i april 1942 under ledelse av oberstløytnant Jimmy Doolittle.
Etter 1949 var Zhang viktig i oppbyggingen av de kinesiske militære styrker. Han kommanderte Folkets frigjøringshærs første marinestyrker og var kammandør for et armékorps under Koreakrigen. Etter hjemkomsten fra Korea innehadde han en rekke viktige militære og politiske verv. Han ble utnevnt til general i 1955.
Under kulturrevolusjonen ble Zhang anklaget for kontrarevolusjonære forbrytelser og oppsagt fra alle verv, og under kampsesjonene mot ham ble det ene benet hans brukket.
Han fikk komme tilbake til det offentlige liv i 1973 og var Kinas forsvarsminister fra 1982 til 1988. Han var nestsjef for generalstaben, visestatsminister og i en periode formann for en kommisjon som stod for moderniseringen av de væpnede styrker.
Zhang siteres på at «Det eneste som kulturrevolusjonen (lyktes i) var å gi meg en stokk».
Under demonstrasjonene på Tiananmenplassen i 1989 støttet Zhang Aiping åpent studentene og gikk imot bruk av makt mot dem. I spissen for seks andre pensjonerte generaler bønnfalt han Folkets Frigjøringshær i et brev av 21. mai om ikke å rykke frem mot studentene.
Due to the exigent circumstances, we as old soldiers, make the following request: Since the People's Army belongs to the people, it cannot stand against the people, much less kill the people, and must not be permitted to fire on the people and cause bloodshed; to prevent the situation from escalating, the Army must not enter the city.
