Ta alustas profikarjääri Moskva CSKA-s, mille meeskonnas debüteeris ta Venemaa kõrgliigas hooajal 2005–06.
2006. aastal valis New Jersey Devils ta NHL-i draft 'is 77. valikuna. 2008. aastal asus ta mängima New Jersey Devilsi noorteklubis Lowell DevilsAmerican Hockey League'is. Järgmisel hooajal debüteeris Žarkov ka NHL-is. Hooajal 2009–10 osales ta NHL-is 40 mängus, sai kirja kümme väravasöötu, kuid mitte ühtegi väravat. Esimese värava lõi ta NHL-is 17. jaanuaril 2011 mängus New York Islandersi vastu.
2012. aasta juulis naasis ta Moskva CSKA-sse, kus mängis järgmised kuus hooaega.
Aastatel 2018–2021 mängis ta KHL-is Ufa Salavat Julajevi ridades. 2021. aasta mais sõlmis ta kaheaastase lepingu Avangardiga.[1]