Kolarov nacque a Šumen, in Bulgaria. Negli anni '90 del XIX secolo si unì al Partito Democratico Sociale Bulgaro, e dal 1905 si era identificato con la sua ala rivoluzionaria. Fu eletto all'assemblea nazionale bulgara nel 1913 e nel 1920. In questo periodo, Kolarov era tra i leader dei partito, e un attivo partecipante del Comintern. Nel 1923 condusse una rivolta popolare assieme a Georgi Dimitrov, ma la rivolta fallì e Kolarov dovette fuggire in Unione Sovietica in cui rimase per più di vent'anni.
