Durant l'époque soviétique, Guinzbourg est éditeur de l'almanach poétique Sintaksis, édité sous forme de samizdat (un système clandestin de circulation d'écrits durant l'époque soviétique, le mot signifiant littéralement en russe auto-édition). Entre 1960 et 1979, il est condamné à trois reprises aux camps de travail, dont la dernière fois en 1978, étant condamné à huit ans de goulag. Il est finalement relâché en 1979 et expulsé vers les États-Unis, en compagnie d'autres dissidents politiques et de leurs familles. Cette libération eut lieu dans le cadre d'un échange de prisonniers contre des espions soviétiques entre les États-Unis et l'URSS.
