Jim Peterson acquiert la notoriété à l'échelle nationale en 1974 lorsqu'il aide le danseur russe Mikhaïl Barychnikov à fuir l'Union soviétique pendant sa tournée canadienne.
D'abord élu aux communes en 1980, il est défait lors de l'élection de 1984. Il est de nouveau réélu dans sa circonscription en 1988, et est réélu à chaque élection subséquente. En 1997, il est nommé secrétaire d'État par Jean Chrétien, mais il est renvoyé à l'arrière-banc en 2002. Il revient servir dans le cabinet de Paul Martin qu'il avait longtemps appuyé.