С 1842 года руководил оркестром в своём родном городе, добившись с ним значительных успехов (в частности, в 1867 году оркестр Бильзе играл на Всемирной выставке в Париже под руководством Иоганна Штрауса-сына). В 1867—1882 годах Бильзе руководил собственным оркестром в Берлине. Одновременно с 1857 года Бильзе регулярно выезжал на лето со своим оркестром в Варшаву, где давал концерты в летнем театре парка, называвшегося Швейцарская долина; в ходе своих польских выступлений Бильзе сблизился со Станиславом Монюшко, исполнял его произведения, а в июне 1872 года оркестр Бильзе играл на похоронах Монюшко. В оркестре Бильзе выступали первоклассные музыканты: в частности, в 1876—1879 годах концертмейстером был Карл Халир, в 1879 году — Сезар Томсон, в 1880 году — Эжен Изаи.
В 1882 году 54 музыканта из оркестра Бильзе ушли из его коллектива в знак протеста против того, что Бильзе предложил им отправиться в варшавскую поездку в вагоне 4-го класса; составленный этими музыкантами «Бывший оркестр Бильзе» (нем.Frühere Bilsesche Kapelle) был в дальнейшем преобразован в Берлинский филармонический оркестр. Сам же Бильзе набрал других музыкантов (в качестве концертмейстера был приглашён Карл Прилль) и отправился с ними на гастроли в Россию, где с успехом выступал в Павловске.
В 1885 году Бильзе отошёл от музыкальной деятельности и уехал в свой родной город.
Композиторское наследие Бильзе включает вальсы, марши и другую лёгкую музыку, часто написанную на случай, — например, «Галоп паровозного дыма Лигницко-бреславской железной дороги» (нем.Liegnitz-Breslauer-Eisenbahn-Dampfgalopp; 1844), сочинённый по случаю открытия железнодорожной ветки Бреслау — Лигниц.
Литература
Музыкальный энциклопедический словарь / Гл. ред. Г. В. Келдыш. — М.: Советская энциклопедия, 1990. — С. 71. — ISBN 5-85270-033-9