Ayub Khan var pashtun och hans far var risaldar-major vid ett kavalleriregemente i den Brittisk-indiska armén. Själv fick Ayub Khan gå på Sandhurst och blev officer vid 14th Punjab Rifles. General Ayub Khan blev Pakistans förste infödde arméchef i januari 1951 då han efterträdde britten Douglas Gracey. Han blandade sig i politiken och kunde lägga in veto mot politiska beslut om de påverkade arméns intressen. 1958 beslöt han och hans medhjälpare sig för att sätta stopp för de civila politikerna och ge landet "stabilitet".
Under Ayub Khans styre genomfördes en stor jordreform. En ny konstitution trädde i kraft 1962, men makten stannade i Ayub Khans händer. Utrikespolitiskt sökte Ayub Khan stöd av USA som fick inrätta militära baser i Pakistan. Kriget mellan Pakistan och Indien 1965 undergrävde Ayub Khans ställning (trots att han utnämnde sig till fältmarskalk) och 1968 lämnade han över makten till arméchefen Yahya Khan.
