Cette nouvelle aventure littéraire ne fut possible qu'avec ce que l'on appelait à l'époque « La Seconde Pléiade » : lancée par Rodolphe Darzens en 1886, La Pléiade est une revue qui accueillait de nombreux jeunes poètes, futurs collaborateurs du Mercure. En 1889, Louis-Pilate de Brinn’Gaubast en devient le rédacteur en chef et s'entoure d'Édouard Dubus, Louis Dumur et Gabriel-Albert Aurier[2]. Alfred Vallette va y prendre le pouvoir et la transformer en un nouveau Mercure de France grâce aux mésaventures de Brinn'Gaubast : accusé d'avoir volé le manuscrit des Lettres de mon moulin d'Alphonse Daudet pour les enfants duquel il était précepteur, il voit sa carrière anéantie[3].
En 1889, Alfred Vallette épousait la romancière Rachilde dont l’œuvre et la personnalité firent beaucoup pour le rayonnement du Mercure de France. Auteur du scandaleux Monsieur Vénus, qui lui vaudra une condamnation pour outrage aux bonnes mœurs, elle participe à la revue jusqu’en 1924 et tient salon tous les mardis, les fameux « mardis du Mercure »[1], qui voient défiler bon nombre de futurs grands écrivains dans son bureau.
L'adresse du siège originel est le 15 rue de l'Échaudé. Dans cet immeuble, Vallette possède son bureau et même une imprimerie.
Le Mercure de France accède progressivement à la reconnaissance et développe fin 1893 un département d'édition d'ouvrages appelé « édition du Mercure de France ». Rachilde y publie de jeunes auteurs comme Jean de Tinan, ornant leurs ouvrages de dessins gravés, faisant appel, par exemple, à Henri de Toulouse-Lautrec (L'Exemple de Ninon de Lenclos amoureuse, 1898). Mallarmé, Remy de Gourmont et Heredia y font paraître quelques textes inédits. Un tel succès, dans un secteur fortement concurrentiel, s’explique par un grand sérieux, une grande liberté de ton et une capacité à se situer au-dessus des écoles. Philéas Lebesgue y tiendra, par exemple, trois chroniques régulières, traitant des Lettres portugaises, des Lettres néo-grecques et des Lettres yougoslaves[4]. Paul Léautaud y sera secrétaire de rédaction pendant trente-trois ans de 1908 à 1941 et assurera la chronique dramatique de 1911 à 1920.
En juin 1931, Paul Léautaud assiste à la rencontre entre Vallette, Jacques Bernard et Stanislas Kahan (1893 - ?), ancien médecin militaire et fondateur des éditions du Trianon, lequel propose de racheter le fonds du Mercure pour 4 millions de francs ; l'affaire ne se fait pas[5].
Georges Duhamel remplace Vallette, mort le , et nomme André-Ferdinand Hérold président du conseil d'administration[6]. Les succès éditoriaux de Duhamel ont permis à la maison de sortir indemne de la crise de 1929, mais, en 1938, il démissionne et laisse la place à Jacques Bernard, déjà dans la maison depuis cinq ans, mais qui engage dès 1941 la maison dans la collaboration : cette année-là, en septembre, il renvoie Paul Léautaud. En 1945, Jacques Bernard est condamné dans le cadre de l'épuration à cinq ans de réclusion[7].
La revue cesse de paraître à la fin de l'année 1965, la maison accueillant un temps la revue Les Lettres nouvelles dirigée par Maurice Nadeau qui y développe de 1953 à 1977 une collection[10], puis, dans les années 1980, la revue Digraphe.