Després de la seva expulsió de l'Associació Internacional de Treballadors al seu V congrés celebrat a la Haia el 1872,[1] Guillaume prendria un rol actiu en la fundació de la Internacional Anarquista a Saint-Imier. Guillaume és tal vegada més conegut per l'enorme treball de 4 toms titulat L'International: Documents et Souvenirs que documenten la posició anarquista dintre de la primera internacional. Guillaume també va editar la col·lecció de treballs de Mikhail Bakunin i fou redactor del Dictionnaire Pédagogique dirigit per Ferdinand Buisson (director de l'ensenyament primari de 1882 a 1896). També va jugar un important paper en la transformació cap a l'anarquisme de Piotr Kropotkin.
