Alexandre Rachmiel est le fils d'Alexandre Rachmiel et de Babette Katz.
Il étudie en Alsace où il est un condisciple de Jean-Jacques Henner. Il émigre aux États-Unis lorsque éclate la guerre franco-prussienne de 1870. Peu après son arrivée à New York, il épouse Sarah Parker Scott, une veuve ayant quatre filles. Leur fils, Jean Rachmiel (1871-1954) deviendra peintre et sera surnommé le « Millet américain ».
En 1895, Alexandre Rachmiel rejoint son fils à Paris où ils partagent un atelier de 1895 à 1902.