Bergh växte upp på gården Ellestad i Vestre Slidre. Han tog lärarexamen vid Lands lärarskola 1867 och arbetade därefter som lärare i hembygden. Efter ett år reste han till Wisconsin i USA, där han arbetade som kyrkosångare och lärare under ett par år. Han studerade även vid Luther College i Decorah och utexaminerades därifrån 1876. På hösten samma år återvände han till Norge och Valdres. Mellan 1878 och 1913 verkade han som lärare i Vestre Slidre.[1]
Redan i unga år började Bergh samla in folkminnen. Han gav ut flera samlingar med äventyrsbeskrivningar, sägner, ordspråk med mera, dels på dialekt, dels på landsmål, dels på riksmål. 1879 utgavs Nye Folke-Eventyr og Sagn fra Valders, 1882 Nye Folke-Eventyr og Sagn fra Valdres og Hallingdal och 1886 Nye Folke-Eventyr og Billeder fra Norge. Hans skrev också barnböcker och
1889 utgavs Reise te versens ende (sv. Resan till världens ända, översättning Amanda Kerfstedt 1896, även översatt till andra språk) och Hvorledes Maria sankede pengene (1889). 1903 utgavs boken Fra fjord og lid og fjell. 10 forteljingar och 1913 skådespelet Gjente-strid for eigin heim og egtemake. 1915 respektive 1916 utkom diktsamlingarna Idyllar fraa dei norske settlementa i Amerika och Norske dikt i utval (under pseudonymen H. Høyne).[1]
