Roscoe Conkling wurde während der Amtszeit von PräsidentenAndrew Jackson im Albany County geboren. Die Familie zog 1839 nach Auburn. Er verfolgte eine akademische Laufbahn. Conkling studierte Jura. Nach dem Erhalt seiner Zulassung als Anwalt 1850 begann er in Utica zu praktizieren. Im selben Jahr wurde er District Attorney im Oneida County. Er war 1858 als Nachfolger von Alrick Hubbell Bürgermeister von Utica.
Bei den Kongresswahlen des Jahres 1858 für den 36. Kongress wurde er im 20. Wahlbezirk von New York in das US-Repräsentantenhaus in Washington, D.C. gewählt, wo er am 4. März 1859 die Nachfolge von Orsamus B. Matteson antrat. Er wurde einmal wiedergewählt. Bei seiner erneuten Kandidatur 1862 erlitt er eine Niederlage und schied dann nach dem 3. März 1863 aus dem Kongress aus. Im 37. Kongress hatte er den Vorsitz im Committee on District of Columbia. Ferner brach zu Beginn seiner zweiten Amtszeit der Bürgerkrieg aus. 1864 kandidierte er im 21. Wahlbezirk von New York für den 39. Kongress. Nach einer erfolgreichen Wahl trat er am 4. März 1865 die Nachfolge von Francis Kernan an. Er wurde einmal wiedergewählt, trat allerdings zu Beginn seiner zweiten Amtszeit am 4. März 1867 von seinem Sitz im US-Repräsentantenhaus zurück. Außerdem ging während seiner Kongresszeit der Bürgerkrieg zu Ende.
Conkling wurde 1867 zum US-Senator gewählt und 1873 sowie 1879 wiedergewählt. Seinen neuen Posten trat er am 4. März 1867 an und bekleidete diesen bis zu seinem Rücktritt am 16. Mai 1881, welcher aus Protest gegen die Ernennung von William H. Robertson zum Collector of the Port of New York geschah. Er erlitt bei seiner erneuten Kandidatur für den US-Senat eine Niederlage, um die Vakanz zu füllen, die durch seinen Rücktritt entstand. Während seiner Kongresszeit als US-Senator hatte er den Vorsitz im Committee on Revision of the Laws of the United States (40. bis 43. Kongress), im Committee on Commerce (44., 45. und 47. Kongress) und im Committee on Engrossed Bills (46. und 47. Kongress). Er war das einflussreichste Mitglied der Faktion der Stalwarts.
Nach seiner Kongresszeit nahm er in New York City wieder seine Tätigkeit als Anwalt auf. 1882 lehnte er eine Nominierung für den United States Supreme Court ab.
Conkling war überzeugter Nichtraucher, der sich mit Boxen und Spaziergängen fit hielt, so etwa von seinem Büro zu seinem fünf Kilometer entfernten Wohnhaus. Er war Mitglied im New York Athletic Club und ging auch im Großen Schneesturm (1888) zu Fuß, kam aber nur bis zum Union Square. Einer Lungenentzündung folgten weitere Entzündungen, er verstarb am 18. April 1888 in New York City. Sein Leichnam wurde dann auf dem Forest Hill Cemetery in Utica beigesetzt.