Neben seiner Arbeit als Finanzfachmann machte sich Rümelin auch einen Namen als Sozialreformer. So veröffentlichte er 1891 eine damals viel beachtete Arbeit mit dem Titel „Die Selbstverwaltung in ihrer Bedeutung für die soziale Frage“. Auf seine Initiative hin wurde in Stuttgart eine Alters- und Invaliditätsversorgung für städtische Mitarbeiter eingeführt. Durch seine Arbeit erwarb er sich nicht nur die Achtung der Konservativen, sondern auch der Sozialdemokraten.
Der parteilose Rümelin wurde sowohl von der Volkspartei als auch von der linken Sozialdemokratischen Partei unterstützt, als 1892 die Neuwahl des Stuttgarter Stadtschultheiß anstand. Der bisherige Amtsinhaber Theophil Friedrich von Hack hatte sein Amt aus gesundheitlichen Gründen aufgegeben. Rümelin wurde am 18. November 1892 mit einer deutlichen Mehrheit von über 57 Prozent gewählt (5.410 zu 4.031 Stimmen) und am 9. Januar 1893 vereidigt. Am 24. September 1893 verlieh ihm der König von Württemberg den Ehrentitel Oberbürgermeister. Im gleichen Jahr wurde er vom württembergischen König Wilhelm II. mit dem Orden der Württembergischen Krone ausgezeichnet. Damit verbunden war der persönliche Adel, seither trug er auch den Namenszusatz „von“.
Stadtschultheiß von Stuttgart
Emil von Rümelin widmete sich in seiner nur sechsjährigen Amtszeit vor allem dem Ausbau der Sozialversorgung und der Infrastruktur der rasch wachsenden Großstadt. Während Stuttgart 1875 noch 100.000 Bewohner hatte, wuchs die Zahl bis 1905 auf 250.000 Einwohner. So gründete er das städtische Arbeitsamt und das Bürgerhospital. Auf seine Initiative wurde außerdem das Schulgeld für die Volksschulen der Stadt abgeschafft, was vor allem ärmeren und kinderreichen Familien zugutekam.
In von Rümelins Amtszeit wurde auch die Stadtbebauung systematisch erweitert – dazu gehörten vor allem die innenstadtnahen Bezirke Stuttgart-West, -Süd und -Ost. 1894 bis 1896 wurde als Verbindung zwischen Stuttgart-West und -Süd der 125 Meter lange Schwabtunnel gebaut, der seinerzeit mit 10,5 Metern der breiteste Straßentunnel Europas war. Außerdem begann die Elektrifizierung der Straßenbahn Stuttgart, die bis dahin noch von Pferden gezogen wurde. Darüber hinaus gründete von Rümelin das Statistische Amt der Stadt, zudem war er Gründungsmitglied des Württembergischen Städtetags.
Emil von Rümelin erkrankte an Krebs, wurde dadurch arbeitsunfähig und lebte zuletzt zur Erholung in Baden-Baden. Dort ist er am 24. März 1899 im Alter von nur 52 Jahren gestorben. Am 28. März 1899 wurde seine Urne unter großer Anteilnahme der Bürgerschaft auf dem Stuttgarter Pragfriedhof beigesetzt. Da das Amt des Stuttgarter Stadtschultheiß damals auf Lebenszeit vergeben wurde, konnte erst am 19. Mai 1899 Heinrich von Gauß als sein Nachfolger gewählt werden.
Schriften
Das Beaufsichtigungsrecht des Deutschen Reichs und dessen organisatorische Gestaltung, Leipzig 1882.
Der Etat in seiner öffentlich rechtlichen Bedeutung. In: Zeitschrift für die gesamte Staatswissenschaft, Jg. 45, 1889, Heft 1/2, S. 299–327.
Die Selbstverwaltung in ihrer Bedeutung für die soziale Frage, Stuttgart: Kohlhammer 1891.
Die Marx'sche Dialektik und ihr Einfluss auf die Taktik der Sozialdemokratie. In: Zeitschrift für die gesamte Staatswissenschaft, Jg. 50, 1894, Heft 1, S. 33–59.
Frank Raberg: Biografisches Lexikon für Ulm und Neu-Ulm 1802–2009. Süddeutsche Verlagsgesellschaft im Jan Thorbecke Verlag, Ostfildern 2010, ISBN 978-3-7995-8040-3, S.342f.