Son père lui enseigne très tôt le violon et le piano, jusqu'à sa découverte du violoncelle à la faveur d'un concert, et à sept ans il commence à travailler l'instrument malgré l'avis défavorable d'un étudiant de Julius Klengel. Il gagne une bourse au Conservatoire de Moscou, où il étudie auprès de Gubariov, Alfred von Glehn (élève de Davidov) et Brandoukov tout en glanant un peu d'argent pour sa famille dans les cabarets et cafés de la ville.
Au moment où éclate la révolution russe, il joue déjà — il n'a que 13 ans — dans un quatuor à cordes, judicieusement rebaptisé « Quatuor Lenine ». À 15 ans, il entre comme violoncelliste au Théâtre Bolchoï. Mais les autorités russes lui refusent un voyage d'études à l'étranger. Il s'enfuit en 1921, accompagné d'autres jeunes musiciens — notamment Mischa Mischakoff — avec son violoncelle, en empruntant des trains de transport du bétail. S'il peut franchir indemne la frontière polonaise sous les tirs des gardes, son violoncelle est endommagé lorsqu'une chanteuse d'opéra qui l'accompagnait se rue sur lui, effrayée par le sifflement des balles.
Piatigorsky, alors âgé de 18 ans, parvient jusqu'en Allemagne, où il étudie pendant une courte période, à Berlin et Leipzig avec Becker et Klengel, mais aucun des deux n'a l'heur de lui plaire. Il se produit à cette époque en trio dans un café russe de Berlin fréquenté par Emanuel Feuermann et Wilhelm Furtwängler. Ce dernier, l'entendant jouer, lui offre la place de premier violoncelle de l'Orchestre philharmonique de Berlin. Il garde ce poste jusqu'en 1929, puis se décide, à 26 ans, pour une carrière de soliste itinérant. En , il épouse Jacqueline de Rothschild, fille d'Édouard de Rothschild, de la branche française de la célèbre famille de banquiers. Elle lui donnera une fille, Jephta (1937) et un garçon, Joram (1940).