Après avoir joué dans la Ligue américaine de hockey, Harper, un défenseur droit, fait ses débuts dans la LNH en 1962 avec les Canadiens de Montréal, pour lesquels il joue jusqu'en 1972, formant principalement un duo de défenseurs avec Jacques Laperrière. Il gagne cinq coupes Stanley dans l'uniforme de cette équipe: en 1965, 1966, 1968, 1969 et 1971.