Seit den 1950er Jahren betätigte sich Rose vorwiegend als Solist und mit kleineren Ensembles. Legendär ist seine Zusammenarbeit mit dem Violinisten Isaac Stern und dem Pianisten Eugene Istomin. Ihre Gesamtaufnahme der Klaviertrios von Beethoven erhielt 1971 den Grammy Award für die beste Kammermusik-Einspielung.