Rutherford draftades i första rundan i 1969 års draft av Detroit Red Wings som tionde spelare totalt.
Han valde sluta sin aktiva spelarkarriär 1983 och ett år senare blev han utnämnd till att bli general manager för Windsor Spitfires i juniorishockeyligan Ontario Hockey League (OHL). Under säsongen 1986-1987 var han också tränare för laget efter att han sparkade lagets tränare Tom Webster efter usla resultat. Han lämnade Spitfires efter säsongen 1987-1988. 1990 blev han kontaktad av den amerikanska affärsmannen och ishockeyentusiasten Peter Karmanos, Jr., om ett jobberbjudande om att bli president för hans juniorlag Detroit Compuware Ambassadors (idag Plymouth Whalers) som skulle ansluta sig till OHL under samma år. Ett erbjudande han sa ja till. Ett år senare blev han även lagets tränare efter att Andy Weidenbach fick lämna. Karmanos, Jr. hade en dröm om att få äga ett lag i NHL och 1994 gick han ihop med sin affärskollega Thomas Thewes och Rutherford, där trion betalade $47,5 miljoner för att förvärva Hartford Whalers. Vid affärsuppgörelsen tog trion på sig att Whalers skulle vara kvar i delstaten Connecticut i minst fyra år till.[4] Rutherford blev minoritetsägare, president och general manager för ishockeyorganisationen vid en uppgörelse mellan de tre. Det framkom inför säsong 1995-1996 att Whalers kunde inte sälja 11 000 säsongsbiljetter och Karmanos, Jr. gick då ut och hotade med att kan inte organisationen sälja 11 000 säsongsbiljetter inför säsong 1996-1997 skulle Whalers lämna staden Hartford och delstaten Connecticut.[5] En annan anledning var också att man inte kunde komma överens med de nämnda om ett avtal som skulle resultera om en ny arena till Whalers.[6] Så blev det och ishockeyorganisationen tog sitt pick och pack 1998 och flyttade till North Carolina. Hartford Whalers blev Carolina Hurricanes och Rutherford behöll sina positioner även i den "nya" ishockeyorganisationen. De flyttade först till Greensboro och sen två år senare till delstatens huvudstad Raleigh, som de är fortfarande i. Hurricanes bedrifter under Rutherfords styre var spel i slutspel fem av de 16 säsonger han var där, som resulterade i en Stanley Cup-buckla, en finalförlust, en förlust i conferencefinal och två kvartsfinalsförluster. Hurricanes tog sig till Stanley Cup-final för säsong 2001-2002, men där blev Detroit Red Wings för svåra och vann finalserien med 4-1 i matcher. De två efterföljande åren missade de slutspel och sen kom lockoutsäsongen. Direkt efter att lockouten upphävdes och ligan införde lönetak så gick Hurricanes hela vägen och vann Stanley Cup efter man vann finalserien mot Edmonton Oilers med 4-3 i matcher. Det blev en enorm baksmälla för alla i organisationen som resulterade i missad slutspel i de två efterföljande säsongerna. Under säsongen 2008-2009 blev det klart att de var åter i slutspel, dock åkte de ut i conferencefinalen mot Pittsburgh Penguins, efter att Penguins vann med fyra raka matcher. Efter förlusten i conferencefinalen blev Hurricanes inte sig lika och hamnade i ingenmansland och missade slutspel de senaste fem säsongerna. Den 28 april 2014 valde Rutherford avgå som general manager för att fokusera helt på sin president-roll i Hurricanes.[7][8] Den 16 maj 2014 ville ägargruppen för Pittsburgh Penguins göra en totalrenovering av sin ishockeyorganisation och valde sparka sin general manager Ray Shero.[9][10] Den 29 maj 2014 kontaktade Penguins och dess president David Morehouse Karmanos, Jr. om tillåtelse om att få diskutera med Rutherford om en eventuell general manager-roll i Penguins, en begäran som accepterades av Karmanos, Jr.[11] Den 6 juni 2014 meddelade Penguins att man hade valt att anställa Rutherford som ersättare till Shero. Där får han all makt över alla ishockeyrelaterade frågor[1][2] men också agera mentor för lovande befattningshavare i Jason Botterill, Tom Fitzgerald och Bill Guerin, där Botterill får en typ delad general manager-roll med Rutherford och Fitzgerald och Guerin blir assisterande general managers för organisationen.[12]
”
"Jim's my best friend, and I'm very happy for him. He has been the face of the Hurricanes, and we will miss him. The fact we've built such an exceptional organization is a testament to how good he was at his job. As far as I'm concerned, he's one of the best general managers in the League. This is a great opportunity for him."
„
– Peter Karmanos, Jr.
Samma dag valde Rutherford att sparka lagets tränare Dan Bylsma.[2][13]
Statistik
M = Matcher, V = Vinster, F = Förluster, O = Oavgjorda, ÖF = Förluster på övertid eller straffar, MIN = Spelade minuter, IM = Insläppta Mål, N = Hållit nollan, GIM = Genomsnitt insläppta mål per match, R% = Räddningsprocent
