Il passe alors son agrégation pour devenir professeur d'allemand aux lycées Carnot et Paul-Valéry, puis de linguistique appliquée, en 1966, à la Faculté des lettres et des sciences humaines de Besançon. Soutenant une thèse sur « Les Structures logiques de la proposition allemande », il obtient son doctorat en 1968 et devient professeur des universités de linguistique allemande à Paris VIII, Paris III et Paris X jusqu'en 1985.
Christine Jacquet-Pfau, "Bibliographie de Jean-Marie Zemb", in "Déconstruction-Reconstruction, autour de la pensée de Jean-Marie Zemb, 2011, Editions Lambert-Lucas-p.237-265