У дорослому футболі дебютував 1990 року виступами за дублюючу команду «Баварії», в якій провів два сезони, взявши участь у 22 матчах чемпіонату, після чого сезон провів в основній команді, проте закріпитися у складі «червоних» Гаральд не зумів.
Влітку 1996 року Черни знову повернувся до Мюнхена, але цього разу перейшов до клубу «Мюнхен 1860», за який відіграв 11 сезонів. Незважаючи на те, що за підсумками сезону 2003/04 команда втратила місце в Бундеслізі, Гаральд Черни залишився вірним і продовжив виступати в її складі у другій бундеслізі, поки не завершив професійну кар'єру футболіста у 2007 році
