Fra 1918 til 1920 (og atter fra 1927 til 1934) fungerte han som stedfortredende folkekommissær for utenrikssaker. I denne forbindelse utferdiget han den 27. juli 1919 det såkalte Karakhanmanifestet hvori den nye sovjetstaten frasa seg alle privilegier som Tsarrussland hadde skaffet seg i Kina under Qing-dynastiet. Dette bidro sterkt til å skape interesse for den russiske revolusjon og for kommunismen i Kina, der den antiimperialistiske fjerde mai-bevegelsen var i fremmarsj.
Karakhan var sendebud i Polen 1921–1922 og i Kina 1924–1926, der han med stor smidighet visste å gjøre seg gjeldende i østasiatisk politikk. I 1926 blev Karakhan vikarierende utenrikskommissær for Georgij Tsjitsjerin. Han var senere Maksim Litvinovs nærmeste mann.
