Grâce à l’appui de la basse Luigi Lablache, il est engagé en 1825 au Théâtre-Italien, où il excelle dans les opéras de Rossini et de Bellini, avec lequel il se lie d'amitié. C'est pour lui que le compositeur écrit les rôles d'Elvino dans La sonnambula (1831) et d'Arturo dans I puritani (1835), qui marque l’un des sommets de la carrière du chanteur. Il paraît à Saint-Pétersbourg et à Moscou où, l’enthousiasme gagnant, il est fait chef de la musique impériale et colonel de la garde[3].
Il se retire dans sa propriété de Romano en 1853; il publie 12 lezione di canto. Il meurt en 1854[3]. Sa maison est aujourd'hui le musée Rubini[4].
Il était marié à la cantatrice française Adélaide Comelli (de son vrai nom Adèle Chaumel)[3].
Rubini a servi de modèle au type de ténors qui domineront presque tout le XIXe siècle : timbre clair et souple, extension dans l’aigu avec un falsetto qui lui permettait de monter au contre-fa (fa4), note exceptionnellement haute pour un ténor. Il avait cependant une certaine indifférence pour l'action scénique[5].
« Tous les superlatifs sont épuisés ; admirable est faible ; sublime bien pâle ; pyramidal, ébouriffant, sublimissime suffisent à peine… Rubini n’a pas de rival au monde. »
Dans Madame Bovary, roman de Gustave Flaubert paru en 1857, Léon Dupuis, le clerc de notaire qui entreprend de séduire Emma Bovary, se vante auprès d'elle d'avoir vu se produire Rubini, Tamburini, Persiani et Grisi.
Dans Monsieur Choufleuri restera chez lui (1861), opérette bouffe de Jacques Offenbach sur un livret du duc de Morny, un bourgeois parvenu veut épater ses voisins en organisant un concert où doivent se produire trois des plus grands chanteurs de l'époque : Rubini, Antonio Tamburini et Henriette Sontag. À la suite de leur défection, le bourgeois, sa fille et son futur gendre doivent se faire passer pour eux.