Rubinstein vart fødd i Vikhvatinets. Han lærte å spele piano frå tidleg alder og spela offentleg fyrste gongen ni år gammal. Familien tok han med til læreår i Paris, og sidan Berlin, der han studerte komposisjon. Deretter flytta han til Wien. Han underviste i Wien ein kort periode, før han returnerte til Russland i 1848 og hadde sitt virke som musikar til svigermora åt tsaren.
Han byrja å turnere som pianist seint i 1850-åra, før han slo seg ned i St. Petersburg. I 1862 grunnla han St. Petersburg-konservatoriet, Russlands fyrste musikkskule. Han jobba som lærar der, og instruerte mellom andre Pjotr Tsjajkovskij. Inn i mellom la han ut på turnear. Mot slutten av livet sitt, arbeidde han ei kort tid som lærar i Dresden.
Rubinstein døydde i Peterhof ved St. Petersburg i 1894, etter ei tids vanskar med hjartet.
Rubinsteins verk vart mykje spela i hans levetid. Etter han døydde vart komposisjonane i stor grad ignorert. Ein grunn kunne vere at han var jøde; antisemittismen dominerte samfunnslivet i Tyskland, det musikalske knutepunktet i Europa. Ein annan grunna var at musikken hans fall uteanfor dei rådande musikksmakane i samtida. Korkje ligg den nær de nasjonale stilen til «den mektige lille gruppa» (Balakirev, Cui, Borodin, Musorgskij og Rimskij-Korsakov); han uttala seg jamvel negativt om russisk nasjonalisme. Han var lite påverka av Richard Wagner, ein komponist med verk som vart høgt skatta på slutten av det 19. hundreåret. Rubinsteins musikk vert oftare samanlikna med Frédéric Chopin og Robert Schumanns verk, begge komponistar rekna for noko gammeldagse ved Rubinsteins død. Mot slutten av det 20. hundreåret har Rubinsteins musikk vorte meir spela, og oftare vorte positivt mottatt.
Rubinstein var ein svært produktiv komponist, og skreiv tjue operaer, med Demonen som den mest kjende. Vidare komponerte han fem pianokonsertar, seks symfoniar, samt ei lang rekke komposisjonar for solopiano. Hans fjerde pianokonsert og andre symfoni, kjend som Havet, er mellom hans mest kjende verk.
