Il a été repêché par les Rangers de New York lors du repêchage d'entrée dans la LNH 1991, à la 15e position du premier tour. Il est le premier joueur russe à avoir été repêché au premier tour. En 1992, avant ses débuts avec les Rangers, il est un des joueurs que le club est prêt à céder aux Nordiques de Québec pour acquérir Eric Lindros, mais un arbitre décide qu'un échange avait été auparavant conclu avec Philadelphie, qui devient la destination de Lindros[6].
Il a été un joueur clé de l'organisation des Rangers, notamment lors des séries éliminatoires de 1994 alors qu'il les aida à remporter la Coupe Stanley. Il a également porté les couleurs des Penguins de Pittsburgh et celles de l'équipe nationale russe.
En 2000-2001, Kovaliov connaît sa meilleure saison dans la LNH avec 95 points en 79 rencontres.
Le , il marque son 300e but dans la LNH, et récolte son 700e point.
Le , il joue son 1000e match dans la LNH, et récolte son 800e point à l'aide d'un lancer sur réception dans la partie supérieure du filet de Cam Ward, le gardien des Hurricanes de la Caroline. Le , il porte le « C » de capitaine des Canadiens de Montréal par intérim car Saku Koivu ne prend pas part au match contre les Rangers de New York en raison d'une blessure.
Le , il marque son 350e but dans la LNH dans un match opposant les Canadiens de Montréal au Lightning de Tampa Bay. Le , il obtient sa 500e mention d'assistance dans la LNH contre les Coyotes de Phoenix dans une victoire 4 buts à 2. Il récolte deux autres points (2 passes) dans ce match. Le , il marque son 400e but contre les Hurricanes de la Caroline à la Place banque Scotia.
Le , il lance un coffret de deux DVD « Mes trucs et méthodes d'entraînement ». Le premier DVD aborde la technique sur la glace, le deuxième retrace sa vie hors de la glace. Le film intitulé « Mr KOVI » a été tourné en Russie et à Montréal. L'ensemble des profits sont destinés aux enfants malades.
Le , il porte à nouveau le « C » de capitaine par intérim. À 19 minutes et 18 secondes de la troisième période, il écope d'une pénalité de 2 minutes pour une charge envers Paul Gaustad et quitte la glace. Ne voulant partir de la rencontre, il donne son bâton à un partisan puis attend que le match se termine pour féliciter ses coéquipiers sur la glace. Il reporte le « C » durant la majeure partie de la série contre les Bruins de Boston, série au cours de laquelle il marque un but, après que le défenseur Zdeno Chara lui a fait perdre son casque protecteur, le long de la bande, le .
Il termine la saison avec 35 buts et 49 passes pour un total de 84 points et un total de 11 points lors des séries éliminatoires, sa deuxième meilleure saison dans la LNH. C'est ainsi qu'il aida les Canadiens de Montréal à se hisser au premier rang de l'association de l'Est, une première depuis leur dernière conquête de la Coupe Stanley. Cependant, le Canadien est éliminé en 5 match face aux Flyers de Philadelphie en quart de finale.
En , il reçoit le trophée Jean-Béliveau, trophée remis à chaque année au joueur des Canadiens qui s'est le plus investi dans un engagement communautaire.
Lors du deuxième match de la saison 2008-2009, il marque un but et son 200e point sous les couleurs des Canadiens contre les Maple Leafs de Toronto au cours d'une victoire de 6 à 1. Le , dans une partie contre les Flyers de Philadelphie, il marque un but qui porte son total à 900 points en carrière dans la LNH.
Il devient joueur autonome sans compensation le . Il devait signer avec les Canadiens de Montréal, mais l'offre a été retirée alors qu'il prenait un temps de réflexion.[réf. nécessaire]Il souhaitait retourner à Montréal, mais son agent Scott Grennspun pensait qu'il pourrait obtenir plus de Bob Gainey.[réf. nécessaire] L'offre était alors de 10 millions de dollars pour deux ans, soit le même montant qu'il a finalement obtenu en signant pour les Sénateurs d'Ottawa le .
Le , Alekseï Kovaliov est nommé entraîneur adjoint du HC Red Star Kunlun, une équipe de la KHL. Le , il devient entraîneur-chef de l'équipe qu'il quitte un an plus tard, son contrat n'étant pas renouvelé[14].
Le 8 février 2019, il participe à la cérémonie du 25e anniversaire de la conquête de la Coupe Stanley de 1994 des Rangers de New York[15]. Il a joué pour les Rangers de New York de 1992 à 1999 puis de 2003 à 2004.
Autres sports
Kovaliov a joué au bandy en Russie et a aidé Québec Bandy à l'introduire dans la province[16].