Il est d'abord repêché par les Red Wings au premier tour du repêchage amateur de la LNH 1969, à la dixième place. Il disputa 29 matchs chez les Wings de 1969 à 1971, partageant son temps entre les Wings et leur club école de Fort Worth. Il fut finalement réclamé par les Penguins au cours du repêchage intra-ligue de 1971. Il jouera de façon sporadique pendant 3 saisons chez les Penguins, avant de retourner à Détroit avec Jack Lynch en échange de Ron Stackhouse.
De 1973 à 1981, Rutherford porta l'uniforme rouge et blanc des Wings, s'attendant à tout moment à être remplacé par une nouvelle acquisition ou par un jeune talent. Ce fut d'abord Ed Giacomin qui vint lui ravir le titre de gardien numéro un, mais son jeu étant inconstant, il dut se résoudre à partager son temps entre les poteaux avec Rutherford.
En février 1976, les choses allaient bien pour Jim, qui venait d'égaler le record de l'équipe, alors détenu par Glenn Hall pour le plus grand nombre de blanchissages consécutifs (trois). Cette belle séquence fut cependant brisée par les Maple Leafs de Toronto qui infligèrent une défaite de 9-1 aux Wings.
À la suite du départ de Giacomin, ce fut Ron Low qui prit le poste à Detroit. On s'attendait bien à ce qu'il supplante Rutherford, mais au contraire, il démontra lui aussi des performances en dents de scie, ce qui amena Rutherford à disputer plus de matches. L'histoire se répéta dès la saison suivante, alors que le convoité Rogatien Vachon prend le chemin de Detroit. Rutherford dut encore une fois sauver les meubles[1].
En 1980-1981, c'est Gilles Gilbert qui est acquis par les Red Wings de Détroit qui avaient finalement en main un gardien qui réussit à jouer au niveau que l'on attendait de lui ; c'en fut fait de Rutherford qui mit le cap pour Toronto, échangé le contre Mark Kirton. Il joua brièvement pour les Leafs, puis les Kings, qui l'obtinrent en 1981 contre un choix de 5e place au repêchage d'entrée dans la LNH 1981 (Barry Brigley)[2].
Finalement, le destin le mena une fois de plus chez les Red Wings en 1982, alors qu'il signe comme agent libre. Cependant, le club étant alors dans un rajeunissement de ses effectifs, il favorisa Greg Stefan et Corrado Micalef dans les buts, ne laissant Rutherford disputer qu'un seul match avant de prendre le chemin de la Ligue américaine de hockey, où il termina sa carrière à Adirondack la saison 1982-83[1].
Jim Rutherford a été un des premiers gardiens a porté un masque décoré. A l'époque, Rutherford faisait peindre ses masques de la couleur de l'uniforme de son équipe : blanc pour Détroit, puis bleue pour Pittsburgh, etc. À la suite de son retour chez les Wings, Jim Rutherford demanda à son ami Greg Harrison de récupérer son masque et de lui peindre en blanc une bonne fois pour toute : « J'ai appelé Greg Harrison et je lui ai demandé de récupérer mon masque à l’aéroport et de le peindre en blanc. J'étais déçu d'être échangé et je ne voulais plus continuer à peindre mes casques de différentes couleurs. »[3] Greg Harrison lui rendit le masque blanc, mais avec des ailes rouges sur les côtés (le logo de Détroit), qu'il avait peint sans son autorisation. Jim Rutherford n'a pas apprécié mais il n'avait pas le temps d'avoir un autre masque. La décoration devint très populaire malgré lui « and the rest is history »[4].
En 2014, il accepte le poste de directeur-général des Penguins de Pittsburgh alors qu'il vient de re-signer pour le poste de Président des Hurricanes de la Caroline, après 20 ans dans la franchise. Le poste à Pittsburgh n'a été proposé qu'à Jim Rutherford, sur une liste de 30 candidats potentiels[5]. De la même manière qu'il a reconstruit l'équipe de Détroit, Rutherford a réalisé de nombreux échanges et nommé Mike Sullivan au poste d'entraîneur[6], permettant aux Penguins de gagner la coupe Stanley en 2016 et 2017.
↑« I called Greg Harrison and asked him to pick up my helmet at the airport and paint it white. I was disappointed about being traded and didn't want to keep painting my helmet different colors. »