Bei der Wahl 1976 wurde Rahall im vierten Kongresswahlbezirk West Virginias in das US-Repräsentantenhaus gewählt, wo er am 3. Januar 1977 die Nachfolge von Ken Hechler antrat und in den folgenden 18 Wahlen bestätigt wurde. Da im Jahr 1992 die Wahlbezirke in West Virginia neu eingeteilt wurden, repräsentierte er ab dem 3. Januar 1993 den neuformierten dritten Distrikt; Bob Wise wechselte dafür in den zweiten Bezirk. Er wurde 2007 Vorsitzender des Committee on Natural Resources und war Mitglied und stellvertretender Vorsitzender des Ausschusses für Transport und Infrastruktur. Außerdem war er in drei Unterausschüssen vertreten.
Bei der Wahl 2014 scheiterte er beim Versuch der erneuten Wiederwahl am RepublikanerEvan Jenkins und schied am 3. Januar 2015 aus dem Kongress aus. Er war 38 Jahre lang ununterbrochen Kongressmitglied, länger als jeder andere Abgeordnete aus West Virginia.
Rahall gilt als moderater und eher konservativer Demokrat.
Nick Rahall ist verheiratet. Privat lebt er in seinem Geburtsort Beckley.