1947-ci ildə o Hindistanın bölünməsindən sonra Pakistan ordusunda vəzifə tutdu.
Yəhya xan 34 yaşında briqadir oldu. 1951–1952-ci illərdə Kəşmirdə atəşkəs xəttinə nəzarət etdi. Atəşkəsi tez-tez pozan hindistanlılara cavab vermək qərarına gəldi. Onun əmri ilə Hindistan əsgərlərinə atəş açıldı. 105-ci Müstəqil Briqadaya komandirlik etdi.
Baş Qərargah rəisi kimi Yəhya xan 1954–1957-ci illərdə Pakistan ordusunu təkmilləşdirmək üçün reformasiya apardı. Eyyub xan tərəfindən ordunun planlaşdırma şöbəsinə başçılıq etmək üçün seçildi. Yəhya xan həmçinin 1958-ci ildən 1962-ci ilədək Baş Qərargahın rəhbərlik vəzifələrini yerinə yetirdi. O, 1962-ci ildən 1965-ci ilə qədər həm də piyada qoşun bölməsinə komandanlıq etdi.
Pakistan Ordusunun formalaşmasında xeyli zəhmət çəkdi. 1965-ci ildə Hindistan-Pakistan müharibəsi ərzində piyada qoşun bölməsinə başçılıq etdi. Böyük şlem Əməliyyatında 7-ci Bölməyə başçılıq etmiş, göstərdiyi şücaətə görə 1965-ci ildə general-mayor rütbəsindən sonra general-leytenant rütbəsinə yüksəlmişdi. Xidmət etdiyi ordunun baş komandanı və Pakistan Ordusu baş komandanının müavinini təyin edildi.
Yəhya xan 1966-cı ilin martında Ordunun yaşlı generallarını Altaf Qadiri və Bəxtiyar Ranı istefaya göndərdi.
Baş komandan kimi
Yəhya xan 1965-ci ildə Pakistan Ordusunu yenidən ciddiyyətlə formalaşdırmağa başladı. 1965-ci ildə əsas təşkilati işləri başa çatdırdı. Pakistan Ordusunda texniki dəyişikliklər etdi. 1965-ci ilə kimi orduda köhnə qaydalar hökm sürürdü. Effektiv fəaliyyət göstərə bildiyi üçün uğurlar əldə etdi. Ona qədər orduda özbaşınalıq, intizamsızlıq, korrupsiya hökm sürürdü.
Müharibə başlamyanda ABŞ hər iki tərəfə, Hindistana və Pakistana hərbi yardımda embarqo qoymuşdu. Bu embarqo Hindistan Ordusuna təsir göstərmədi, ancaq Pakistan Ordunun texniki tərkibinə mənfi təsir etdi.
Pakistan bu gedişatdan sonra hərbi yardım üçün Çinə üz tutdu. Çin tankları aldı. 1966-cı ildən Pakistan Ordunu təkmilləşdirdi. Köhnələri yeni texnikalarla əvəzlədi.