Rudman wurde als Sohn von Theresia (geborene Levenson) und Edward G. Rudman geboren. Bis auf wenige Ausnahmen verbrachte er sein ganzes Leben in New Hampshire. Nachdem er die Militärakademie Valley Forge in Wayne, Pennsylvania, absolviert hatte, machte er seinen Bachelor-Abschluss an der Syracuse University in New York. Er diente in der Armee während des Koreakrieges und machte danach den Abschluss in Rechtswissenschaften an der Law School des Boston College. Von 1970 bis 1976 war er Attorney General von New Hampshire.
Nachdem er 1993 den Senat verlassen hatte, wurde Rudman zweimal als Kandidat für die Vizepräsidentschaft in Betracht bezogen. Gemeinsam mit Ex-Außenministerin Madeleine Albright und dem ehemaligen Nationalen Sicherheitsberater Sandy Berger war er zuletzt Co-Vorsitzender der Albright Stonebridge Group, eines globales Beratungs- und Strategie-Unternehmens mit Sitz in Washington, D.C.[2]