Ascher était d’origine juive (son père était le hazzan de la ville). Il a commencé ses études musicales à Londres avant de les poursuivre au conservatoire de Leipzig sous la férule d’Ignaz Moscheles mais ne fut pas diplômé.
Son talent pianistique fut remarqué par l’impératrice Eugénie, qui lui proposa de devenir pianiste à la cour en 1849.
En 1865 il retourna à Londres. À Paris, Émile Waldteufel lui succéda comme pianiste attitré à la cour.
