La carrière de Sokoloff est liée aux aléas géopolitiques.
Elle démarre en Russie, où il fait ses classes avant guerre, en particulier chez Constantin Stanislavski. Il travaille ensuite au Théâtre d'Art de Moscou puis au Théâtre Kamerny. Il se marie en 1922 avec la danseuse et chorégraphe Elizabeth Aleksanderoff, dite Liza Sokoloff. La révolution et l'avènement du bolchévisme les poussent à émigrer en 1923.
Installé dans un premier temps à Berlin à l'invitation de Max Reinhardt, il commence à y tourner quelques films, notamment deux sous la direction de G. W. Pabst : L'Opéra de Quat' sous et l'Atlantide au début des années 1930.
Il décide de s'établir à Paris en 1932 pour fuir la montée du nazisme. Il travaille alors comme professeur à l'École de l'Atelier de Charles Dullin, y met en scène et se produit sous sa direction dans plusieurs de ses productions notables : Les Oiseaux d'Aristophane en 1928, Le Médecin de son Honneur de Calderon en 1932, Richard III de Shakespeare en 1934, Le Faiseur de Balzac en 1935...
En 1937, face aux menaces de guerre en Europe, il émigre aux États-Unis.
Sa carrière au cinéma, commencée en 1926 à la fin du muet et achevée en 1962, illustre la grande tradition du second rôle, au sens où on le concevait dans le cinéma français des années 1930-1940.
1960-1961 : Première série Les Incorruptibles (The Untouchables), Saison 2, épisode 11 Fille de gangster (The Tommy Karpeles Story, 1960) de Stuart Rosenberg ; Saison 3, épisode 1 Le Dépanneur (The Troubleshooter, 1961) de Stuart Rosenberg