Berze Nagy János paraszti családban született, tizenegyedik gyermekként. Gimnáziumi éveit Gyöngyösön (1889–1896), Egerben (1896–1897) és Jászberényben (1897–1898) töltötte, utóbbi városban érettségizett.[1]
Néprajzgyűjtői munkásságát már 14 éves korában elkezdte.
1905. május 2-án összeházasodott Losonczy Emma (1883–1955) tanítónővel, aki két gyermeket szült neki.
Lányuk fiatalon meghalt, fiuk, ifj. Berze Nagy János (1906–) is néprajzkutató lett.
1906-tól 1908-ig Kolozsvárott dolgozott. 1907-től 1913-ig írta nagy munkáját, a Meseszótárt. Ekkor az Athenaeum vette át a kéziratot, szedését is elkezdték, ám a háború közbejött, és szerencsétlen módon a műnek minden változata elveszett. 1908-tól Nagyenyeden, majd 1915-től Csíkszeredában dolgozott. 1916-ban, a románok betörésekor családjával menekülnie kellett, 800 kötetes könyvtára odaveszett. Egy évig Debrecenben kapott menedéket és állást.
Az elveszett Meseszótár után másik nagy műve a magyar mesekatalógus. Az általa számba vett több mint félezer mese a magyar népmesék első nagyobb, korszerű rendszerezése volt – és egyáltalán az első ilyen európai munka –, egyetlen kiadása ma is keresett mű. Kéziratban maradt mitológiai munkája is, amely eredetileg a A világ közepe. A magyar ősvallás eredete címet viselte volna, ám az már csak halála után jelenhetett meg Égigérő fa címen.