Im Jahr 1817 absolvierte Rufus Spalding das Yale College. Nach einem anschließenden Jurastudium und seiner Zulassung als Rechtsanwalt begann er in diesem Beruf zu arbeiten. Dabei praktizierte er zunächst im Jahr 1820 in Little Rock (Arkansas) und dann von 1821 bis 1835 in Warren (Ohio). Danach zog er nach Ravenna. Zwischen 1839 und 1842 saß er als Abgeordneter im Repräsentantenhaus von Ohio, dessen Speaker er zwischenzeitlich war. Von 1849 bis 1852 fungierte er als beisitzender Richter am Supreme Court of Ohio. Danach war er als Anwalt in Cleveland tätig. Politisch wurde er zunächst Mitglied der Demokraten. Er war ein Gegner der Ausweitung der Sklaverei. In dieser Frage überwarf er sich mit seiner Partei und wechselte zur Free Soil Party. Im Jahrzehnt vor dem Bürgerkrieg setzte er sich für die aus dem Süden entflohenen Sklaven ein und vertrat Fluchthelfer vor Gericht. Er war ein entschiedener Gegner des Fugitive Slave Law of 1850. Entsprechend seiner politischen Ansichten hinsichtlich der Sklaverei schloss sich Spalding der 1854 gegründeten Republikanischen Partei an. Er war auch an der Gründung der Partei für Ohio beteiligt.
Bei den Kongresswahlen des Jahres 1862 wurde Spalding im 18. Wahlbezirk von Ohio in das US-Repräsentantenhaus in Washington, D.C. gewählt, wo er am 4. März 1863 die Nachfolge von Sidney Edgerton antrat. Nach zwei Wiederwahlen konnte er bis zum 3. März 1869 drei Legislaturperioden im Kongress absolvieren. Diese waren bis 1865 von den Ereignissen des Bürgerkriegs geprägt. Seit 1865 war die Arbeit des Kongresses von den Spannungen zwischen den Republikanern und PräsidentAndrew Johnson überschattet, die in einem nur knapp gescheiterten Amtsenthebungsverfahren gipfelten. In den Jahren 1865 und 1868 wurden der 13. und der 14. Verfassungszusatz ratifiziert. Spalding war ein Anhänger des im Jahr 1865 ermordeten Präsidenten Abraham Lincoln. Viele seiner Vorschläge hinsichtlich der Reconstruction wurden vom Kongress aufgenommen und verwirklicht. Im Jahr 1868 verzichtete er auf eine weitere Kongresskandidatur.
Nach dem Ende seiner Zeit im US-Repräsentantenhaus arbeitete Rufus Spalding wieder als Anwalt. Er starb am 29. August 1886 in Cleveland, wo er auch beigesetzt wurde.
