Berg kam als Sohn von Abraham Berg (1764–1829) und Kristina Charlotta Ferngren zur Welt. Zunächst wurde er bereits mit 15 Jahren vom Singmeister der Stockholmer Oper, Carl Magnus Craelius (Crælius), unterwiesen. Als er zum Studium nach Uppsala wechselte, musste er die Singschule unterbrechen, absolvierte sie jedoch 1824. Anschließend nahm er eine spezifischere Gesangsausbildung bei dem italienischen Tenor Giuseppe Siboni in Kopenhagen auf. Danach reiste er von 1827 bis 1829 in verschiedene deutschsprachige Orte (Dresden, Prag und Wien) und debütierte 1828 in Italien auf dem venezianischen Teatro San Benedetto in der Titelpartie der Oper Jefte von Pietro Generali, trat jedoch auch in Triest auf.
1829 kehrte Berg nach Schweden zurück und wurde 1831 zum schwedischen Hovsångare ernannt, im selben Jahr wurde er Mitglied der Königlich Schwedischen Musikakademie. Er wirkte über 27 Jahre lang als Gesangsmeister der Königlichen Oper Stockholm (1831 bis 1850 bzw. 1862 bis 1870). Neben dieser Tätigkeit arbeitete er als Gesangslehrer und Liedkomponist. Er war Leiter der Harmonischen Gesellschaft und der Gesellschaft für Liedgesang.
Berg gilt als einer der bedeutendsten Gesangslehrer. Zu seinen Schülern zählten Jenny Lind, Oscar Arnoldson, Matilda Gelhaar, Prinz Gustaf von Schweden und Norwegen und Prinz Gustav (Oscar II.). Berg komponierte u. a. das Lied „Fjärran han dröjer“, das durch Jenny Lind auch außerhalb Schwedens bekannt wurde.
Am 16. April 1831 heiratete Berg Lovisa Karolina Hjortsberg (* 15. April 1807; † 8. Juni 1868), Tochter des Schauspielers Lars Hjortsberg. Er war Vater des Malers Albert Berg, der Sängerin Helena Petre und der Autorin Sonja Berg Pleijel, sowie Großvater der Schriftstellerin Agneta Pleijel und der Regisseurin Sonja Pleijel.
