Nacque a Berlino e trascorse la sua gioventù a Templin e a Francoforte, dove studiò flauto e pianoforte. Successivamente, studiò composizione con J. A. Gürrlich a Berlino. Divenne amico del compositore Clementi e lo visitò in Russia, dove rimase per otto anni. Mentre era in Russia, si sposò, ma rimase vedovo in meno di un anno. Durante le guerre napoleoniche, fuggì a Londra, dove le sue esibizioni per pianoforte furono ben accolte. Ritornò a Berlino nel 1815 e vi soggiornò per il resto della sua vita.
Berger scrisse oltre 160 canzoni da solista (per esempio nel 1816-17 un ciclo di canzoni "Die schöne Müllerin" basato su un gioco di società), così come un concerto per pianoforte, sette sonate per pianoforte, ventinove studi e diverse opere di pianoforte didattico.
