Jako student Uniwersytetu Petersburskiego zaangażował się w działalność rewolucyjną, za co został aresztowany i zesłany do Wilna. Razem z Leninem założył w Petersburgu w 1895 Związek Walki o Wyzwolenie Klasy Robotniczej, następnie wydawał na emigracji gazetę „Iskra” i „Zaria” od 1900 roku.
Podczas II zjazdu SDPRR w 1903 roku współorganizowanego przez Martowa doszło do rozłamu w rosyjskim ruchu socjaldemokratycznym i podziału partii na frakcje mienszewików i bolszewików. Martow twierdził, że członkowie partii powinni działać niezależnie od kierownictwa partii, Lenin nie zgodził się z tym i podkreślił potrzebę silnego przywództwa. Sprawę poddano pod głosowanie. Martow wygrał je otrzymując 28 do 22 głosów[1]. Debata była kontynuowana po głosowaniu, przez co wielu działaczy Martowa opuściła Kongres w trakcie jego trwania na znak protestu. Lenin wykorzystał ten fakt w celach propagandowych i nazwał swoją frakcję bolszewikami, czyli większością. Oponentów popierających Martowa określił natomiast mienszewikami, czyli mniejszością (w praktyce bolszewicy szybko zyskali przewagę liczebną i pod względem poparcia)[2].