Seine Eltern waren Peter Engelbert Berger (1752–1808) und dessen Ehefrau Helene Hundeycker, genannt Reese (1761–1852). Sein Vater war Gutsbesitzer und Mitbesitzer mehrerer Steinkohlenzechen.
Berger lernte Kaufmann und arbeitete rund acht Jahre in Amsterdam und verwaltete anschließend das aus dem Bergbau erworbene Vermögen seiner Familie. 1838 gründete er zusammen mit August Spennemann sein erstes Eisenwerk, welches allerdings keinen Erfolg hatte. Bis Ende der 1840er versuchte er, ein eigenes Gussstahlverfahren zu entwickeln. 1854 gründete er zusammen mit den Niederländern van Braam und Vriese das Etablissement Berger & Co., aus dem später das Gussstahl-Werk Witten und daraus die heute zur Schmolz + Bickenbach AG gehörende Firma Deutsche Edelstahlwerke Specialty Steel hervorging.
Er heiratete 1824 Wilhelmine Klingholz (1799–1878); sie war die Tochter des Johann Wilhelm Klingholz sowie Vorsteherin der von ihr gegründeten Kleinkinderbewahranstalt und der Näh- und Strickschule in Witten. Der Politiker Louis Constanz Berger war der Sohn des Paares.
