Valentin és Ruhl szobrászoknak volt tanítványa, de 1797-ben a porosz királyi udvarnál komornyik lett és csak szabad óráiban foglalkozhatott művészetével. 1802-ben azonban Lujza királyné mellszobrával olyan tetszést keltett, hogy elküldték Rómába. Itt sokat forgott Wilhelm von Humboldt, Antonio Canova és Bertel Thorvaldsen társaságában, buzgón tanulmányozta az ókori szobrászat remekeit. Már néhány kisebb domborművet és mellszobrot készített, mikor 1811-ben a porosz király Berlinbe hívatta és Lujza királyné márványsíremlékének elkészítésével bízta meg. Rómában készítettel el ezt a híres, klasszikus egyszerűségű és szépségű művét, amelyet 1815-ben a charlottenburgi mauzóleumban állítottak föl. 1819-ben végleg Berlinben telepedett le. Kitűnő mellszobrok hosszú sorozatán kívül elkészítette Gerhard von Scharnhorst, Bülow, Yorck, Gneisenau és Blücher, a német szabadságharc hőseinek emlékszobrait Berlinben (a két elsőt márványból, a többi bronzból), Blücher bronzszobrát Boroszlóban, Albrecht Dürer bronzszobrát Nürnbergben, Frankénak a hallei árvaház alapítójának szobrát Hallében, I. Miksa bajor király emlékszobrát Münchenben, III. Frigyes Vilmos porosz király síremlékét Charlottenburgban stb. Műveinek mintegy betetőzését képezi II. Frigyes porosz király hatalmas lovas szobra Berlinben (1839-51), amelyen nemcsak a nagy királyt, hanem korának legnevezetesebb embereit is megörökítette. Eszményi alakjai közül a Regensburg melletti Walhallának 6 világhírű Victoria-szobra a legjobb alkotások közé tartozik e nemben. Rauch műveiben a történelem nagy alakjainak történeti, eszményi, soha nem köznapi fölfogása nyilatkozik. Akár a valóságnak, a kornak megfelelő, akár stilizált, klasszikus öltözetben ábrázolja őket, föléje emeli a közönséges emberiségnek. Nem akart pillanatnyi hangulattal hatni; híven, de általánosságban jellemzett.
