Для действий Гёльца было характерно проявление анархистских тенденций (сформированное Гельцем из демобилизованных военнослужащих ополчение, «вооружённый орган пролетарской самопомощи», реквизировало деньги, продукты и топливо у представителей буржуазии). За отказ подчиниться директивам компартии исключался из её рядов, перешёл в более радикальную Коммунистическую рабочую партию Германии, в 1922 году снова вступил в КПГ.
В 1921 году в дни мартовских боев в Средней Германии Гёльц возглавляет сформированные им боевые отряды, сражавшиеся против жандармерии и правительственных войск. После подавления восстания был арестован и приговорён к пожизненному заключению.
За время пребывания в СССР вступал в брак трижды, причём дважды с девушками школьного возраста (14 марта 1930 женился на Ольге Голубчик из Великих Лук, р. 1911, 29 декабря 1930 — на Елене Серебровской из Ленинграда, р. 1915, 21 июня 1932 — на Ариадне Пугавко из Коломны, р. 1915).
Гёльц погиб в сентябре 1933 года, по официальной версии утонув во время лодочной прогулки по Оке близ Нижнего Новгорода (незадолго до того переименованного в Горький). Существуют также версии убийства и самоубийства.