Affecté à la direction des relations économiques extérieures (DREE) du ministère de l'Économie et des Finances à partir de 1981, il y est sous-directeur de 1986 à 1989.
De 1989 à 1993, il est nommé à Washington administrateur pour la France au FMI et à la Banque mondiale. Il prend ensuite la tête de la DREE jusqu'en 1996.
De 2006 à 2011, il est second sous-gouverneur de la Banque de France, membre du conseil d’administration de la Banque des règlements internationaux (BRI) et membre du Forum de stabilité financière[1]. Il est également suppléant au G7 et au G20 et membre du groupe de travail de l’OCDE (WP3) consacré à la politique économique et financière.
En , Bruno Le Maire lui confie une mission sur les cryptomonnaies[3]. Le rapport préparé en collaboration avec Alban Genais est présenté au Ministre de l'Economie et des Finances en .
Jean-Pierre Landau est professeur de politique monétaire à l'Institut d'études politiques de Paris[4]. Impliqué dans la vie de l'Institut, il est le président du comité de préfiguration de l'École des affaires publiques de l'école, et en est nommé doyen lors de sa phase préparatoire en 2015[5]. Il en démissionne toutefois dans des circonstances mystérieuses deux mois avant son ouverture. Il est alors remplacé par le jeune économiste, Yann Algan.
Il enseigne actuellement à l'université de Princeton, au sein de l'école Woodrow Wilson pour les relations internationales[1].
Jean-Pierre Landau, François Benaroya, L'échange international, Paris, Presses universitaires de France, coll. « Que sais-je ? », 1999, numéro 1727, (ISBN2130504493)
Jean-Pierre Landau, EMU and the Franco-German relationship in David P. Calleo, Eric R. Staal, Europe's Franco-German Engine, Washington Brookings Institution Press, 1999 [1]
Jean-Pierre Landau, An International Financial Architecture for the 21st Century[2]
