Il prend part à ses premiers matchs en LNH au cours de la saison 1989-1990, récoltant 99 minutes de punition en seulement 27 rencontres. Au cours de la saison suivante, ses 350 minutes de pénalité en 66 parties font de lui le joueur le plus punis des Sabres et il décroche alors le titre de policier du club, poste qu'il occupe jusqu'à la saison 2002-2003.
Lors de son séjour de 14 saisons à Buffalo, Rob Ray s'impliqua de façon significative auprès de la communauté, ce qui l'emmena d'ailleurs à remporter le trophée King-Clancy remis par la LNH pour contribution humanitaire.
Alors qu'il détient le record de la ligue pour le plus de minutes de punition avec la même équipe, Ray se voit être échangé lors de la saison 2002-03 aux Sénateurs d'Ottawa, il ne joue avec ses derniers que durant cinq rencontres avant de voir son contrat prendre fin.
N'ayant toujours pas trouvé preneur en février 2004, les Sénateurs lui soumettent une offre pour terminer la saison avec eux. Les six rencontres qu'il dispute par la suite avec les Sens seront ses derniers matchs en carrière, il en profitera pour y inscrire son 41e et dernier but en carrière et obtenir sa 3 200e minute de pénalité. Au cours de l'été suivante Rob Ray annonce son retrait de la compétition[1].