Rufus Wheeler Peckham wurde ungefähr drei Jahre vor dem Ausbruch des Britisch-Amerikanischen Krieges in Rensselaerville im Albany County geboren und wuchs dort auf. Er war eines von fünf Kindern von Peleg Benjamin Peckham und dessen Frau Desire Watson.
Er schloss seine Vorstudien ab. 1827 graduierte er am Union College in Schenectady. Er studierte Jura. Seine Zulassung als Anwalt erhielt er 1830 und begann dann in Albany zu praktizieren. Zwischen 1838 und 1841 war er Bezirksstaatsanwalt im Albany County. Politisch gehörte er der Demokratischen Partei an.
Peckham heiratete 1831 Isabella Adaline Lacey, mit der er drei Söhne hatte. Isabella starb 1848 im Alter von 35 Jahren. In zweiter Ehe war er mit Mary Elizabeth Foote verheiratet.
Nach seiner Kongresszeit ging er wieder seiner Tätigkeit als Anwalt nach. Er wurde Richter am New York Supreme Court für den dritten Gerichtsbezirk von New York – eine Stellung, die er zwischen 1861 und 1869 innehatte. Als beisitzender Richter (associate judge) am Court of Appeals war er vom 17. Mai 1870 bis zu seinem Tod tätig. Am 22. November 1873 starben Peckham und seine Frau Mary beim Untergang des französischen Ozeandampfers Ville du Havre auf dem Atlantischen Ozean.
