Rinne ne joua cependant jamais en Amérique du Nord. Il resta avec le Lukko Rauma jusqu'en 1980, avant de passer au HPK Hämeenlinna. La saison suivante, il revint au Lukko pour une saison, avant d'aller chez le FPS Forssa. En 1982, il joint les rangs du KalPa Kuopio, qu'il aide à accéder à la SM-Liiga en 1986. Au terme de six saisons incontestablement couronnées de succès à Kuopio, il rejoint le KooKoo Kouvola en 1990-91, saison au terme de laquelle il prend sa retraite. Il fit cependant un retour au jeu en 1997-98 avec YJK Ylivieska de la II.Divisioona; il disputa un match la saison suivante avec Kuopio, puis 3 la saison d'après avec le JHT Kalajoki avant de tirer sa révérence une bonne fois pour toutes.
Il établit un record de la SM-Liiga le pour les deux buts les plus rapides, marqués à 6 secondes d'intervalle.
