Der Leipziger Bach-Gesellschaft trat Rust im Gründungsjahr 1850 bei. Seit 1853 arbeitete er an der Herausgabe der Bach-Gesamtausgabe mit, deren Leitung er 1858 übernahm. Er wandte dabei, neu für seine Zeit, die Methoden der klassischen Altertumswissenschaft auf die Edition musikalischer Quellen an. Wegweisend waren auch seine Vorworte zu den einzelnen Bänden der Ausgabe. Als Redakteur der alten Bach-Gesellschaft hat er eine große Anzahl von Werken Bachs mustergültig herausgegeben und galt seinen Zeitgenossen als bester Bachkenner neben Philipp Spitta und Johannes Brahms.
Martin Petzoldt: Die Thomasorganisten zu Leipzig, in: Christian Wolff (Hrsg.): Die Orgeln der Thomaskirche zu Leipzig, Evangelische Verlagsanstalt, Leipzig 2012, S. 95–137 (S. 117–119), ISBN 3-374-02300-2.