Khan bij zijn benoeming tot opperbevelhebber van het leger in 1951.
Khan werd geboren in Brits-Indië. Hij was de zoon van een cavalerist in het Brits-Indische leger. Zelf volgde hij in 1922 een opleiding aan de Aligarh Muslim University, maar maakte deze opleiding niet af. Wel studeerde hij verder aan de Koninklijke Militaire Academie Sandhurst. Khan viel daar op door zijn goede prestaties en kreeg in februari 1928 een benoeming in het Brits-Indische leger.
Tijdens de Tweede Wereldoorlog vocht hij aan het Birmafront.
In aanloop naar de deling van Brits-Indië nam hij dienst in het nieuw te vormen Pakistaanse leger. Hij kreeg zeggenschap over een brigade in Waziristan. In 1948 werd hij benoemd tot Majoor-generaal en diende in Oost-Pakistan (het huidige Bangladesh). Hij was de hoogste militair in dat gebied. In november 1949 keerde hij terug naar West-Pakistan en werd vice-opperbevelhebber. Op 17 januari 1951 werd hij opperbevelhebber van het Pakistaanse leger. Hij volgde Douglas Gracey op en werd daardoor de eerste Pakistaanse opperbevelhebber van het leger. Khan was niet de meest aangewezen persoon om opperbevelhebber te worden. Er waren namelijk nog twee generaals hoger in rang, maar Iskandar Mirza, minister van Defensie, koos voor zijn beschermeling Khan.
Start politieke carrière
In 1954 werd Khan minister van Defensie in de regering van Muhammad Ali Bogra. In 1958 kondigde de toenmalige president Mirza de noodtoestand af. Hij vond dat er een nieuwe grondwet geïntroduceerd moest worden "die beter zou passen bij de genen van het Pakistaanse volk". Hij benoemde Ayub Khan, destijds weer hoofd van het leger, als wettelijk uitvoerder. Twintig dagen nadat de noodtoestand was uitgeroepen, op 27 oktober 1958, pleegde Khan met behulp van het leger een geweldloze coup. Zijn vroegere beschermheer Mirza werd op het vliegtuig richting ballingschap in Engeland gestuurd. De coup werd in eerste instantie verwelkomd door een groot deel van de bevolking omdat het politieke klimaat in Pakistan tot dan toe zeer instabiel was. In 1960 hield Khan een referendum onder een deel van de bevolking. Daarin gaf 95,6 procent van de tachtigduizend geïnterviewden aan dat zij Khan steunde als de nieuwe president.
Er kwam door toedoen van de seculier ingestelde Khan een nieuwe grondwet in 1962. Daarin werd wel respect betuigd aan de islam, maar ze kreeg niet de status van staatsgodsdienst. Er kwam een getrapt kiesstelsel: de kiesgerechtigde bevolking koos gemeenteraden, die weer de leden aanwezen van de provinciale parlementen, die op hun beurt kozen het nationale parlement. De president zou voortaan worden gekozen door 80.000 afgevaardigden (later 120.000). Hoewel deze officieel een onafhankelijke status kregen stonden ze uiteindelijk toch onder controle van de president.
Khan kwam in 1961 met een wet waarin onbeperkte polygamie werd verboden. Een man mocht voortaan nog maar twee vrouwen trouwen, en voor zijn tweede huwelijk had hij toestemming nodig van zijn eerste vrouw.
In 1964 schreef Khan nieuwe verkiezingen uit, omdat de oppositie was verdeeld en hij niet twijfelde aan zijn eigen populariteit. De vijf grootste oppositiepartijen slaagden er tot zijn verbazing toch in met een gemeenschappelijke kandidaat te komen, namelijk Fatima Jinnah, de zus van de stichter van Pakistan Mohammed Ali Jinnah. Toch lukte het Khan erin de verkiezingen te winnen met 64 procent van de stemmen.
Onder het presidentschap van Khan was Pakistan een bondgenoot van de Verenigde Staten tegen de Sovjet-Unie. De Verenigde Staten hadden meerdere legerbasissen in het land. Vanuit daar stegen onder andere spionagevluchten op die vlogen boven de Sovjet-Unie. De meeste economische steun kwam van de VS en de Europese landen. De industrie groeide hard, maar dit leidde wel tot een onevenredige verdeling van de rijkdom. De economie groeide in tien jaar tijd met 45 procent. Khan verplaatste de hoofdstad van Karachi naar Rawalpindi, in afwachting van de bouw van de nieuwe hoofdstad Islamabad.
In 1960 sloot de regering van Pakistan het Indus-Waterverdrag met India waarin afspraken werden gemaakt hoe het water uit de zes grootste rivieren in Punjab zou worden verdeeld tussen beide landen. Ondanks dit akkoord bleef de relatie met India koel. De banden met het communistischeChina waren juist goed, zowel politiek als militair.
Pakistan was in 1956 begonnen met een eigen nucleaire programma. Dit werd stopgezet onder Khan. Hij vond het te duur. Als Pakistan het ooit nodig zou hebben zou zij het "kopen van de plank".
De Tweede Kasjmiroorlog brak in september 1965 uit, doordat Pakistan verschillende groepen Pakistaanse soldaten het Indiase deel van Kashmir binnen stuurde, om daar een opstand tegen India te simuleren. De poging werd ontdekt en India viel Pakistan binnen. Onder grote internationale druk kwam het na ruim een maand tot een staakt-het vuren. In 1966 sloot Khan namens Pakistan een akkoord, de zogeheten Tasjkent-overeenkomst, met de Indiase premier Lal Bahadur Shastri. De overeenkomst viel niet goed in Pakistan. Veel Pakistanen voelden zich verraden door hun leider. Zulfikar Ali Bhutto trok zich terug uit de regering en ging in de oppositie.
Het verzet in Oost-Pakistan (het latere Bangladesh) groeide ook en onder leiding van de Awami Liga werd er gestreefd naar meer autonomie voor de deelstaat. Khan steunde de gouverneur van de deelstaat toen hij de volksvergadering van Oost-Pakistan ontbond vanwege hun "machtshonger en neiging om corrupt te zijn".
Aftreden en overlijden
Khan begon in 1969 onderhandelingen met de oppositie, behalve met Maulana Bhashani en Bhutto. Hij hief de noodtoestand op en beloofde de parlementaire democratie te herstellen. Zijn regering kwam echter steeds verder onder druk te staan. Daar waren meerdere redenen voor. Een van de redenen was de vermeende corruptie en zelfverrijking door Khan en zijn familie. Andere redenen waren de onrust in Oost-Pakistan en de oplopende inflatie[1] en met name de hoge suikerprijs die door speculanten werd opgedreven. Dit leidde tot massa-protesten op de straat. Khan kwam droeg op 25 maart 1969 de macht over aan generaal Yahya Khan, zijn betrouwbare rechterhand. Hij werd bevorderd boven zeven andere generaals die hoger in rang waren.