Egerissä silloisessa Itävalta-Unkarissa venäjänjuutalaiseen perheeseen syntynyt Rudolf sai osakseen ihmelapsiarvioita ja hänet lähetettiinkin Wieniin yhdeksän vanhana opiskelemaan pianonsoittoa Richard Robertin johdolla. Myöhemmin hän aloitti sävellysopinnot Joseph Marxin johdolla. Ensikonserttinsa hän antoi Wienin filharmonikkojen solistina 12 vuoden iässä.