Der Sohn des Fleischers Erwin Klose und seiner Frau Gertrud Panek[1] begann seine Laufbahn bei Energetyk Sławięcice. Als 16-Jähriger debütierte er in der 1. Mannschaft. Ab 1966 lief der Stürmer für Odra Opole auf und gewann 1977 mit dem Verein den Ligapokal, der zur Teilnahme am UEFA-Pokal 1977/78 berechtigte. Dort schied das Team von Klose in der ersten Runde gegen den 1. FC Magdeburg aus.
Im November 1978 wechselte er nach Frankreich zu AJ Auxerre in die Division 2.[2] Seine bei AJA spielenden Landsleute Maryan Szeja und Szylko hatten ihn dem damaligen Trainer Guy Roux empfohlen.[3] Zehn Tage später debütierte Klose in einem Auswärtsspiel in Ajaccio; eine Woche später erzielte er im Heimspiel gegen Saint-Die ein Tor. Mit dem Klub erreichte er 1979 das französische Pokalfinale, wo der Erstligist FC Nantes mit 4:1 die Oberhand behielt. Mit einem Tor gegen den OSC Lille (Viertelfinale) und einer Torvorlage gegen Racing Straßburg (Halbfinale) hatte er Anteil an der Qualifikation für das Endspiel.[3] 1980 stieg er mit der Mannschaft in die Division 1 auf. Dort gab er bei der 0:2-Niederlage gegen SEC Bastia am 24. Juli 1980 sein Erstligadebüt. Da die Anzahl der Ausländer pro Verein auf zwei beschränkt war und 1980 sein Landsmann Andrzej Szarmach, Dritter bei den Weltmeisterschaften 1974 und 1982, verpflichtet worden war, kam er nur auf 14 Erstligaeinsätze (2 Tore) und spielte vor allem für die zweite Mannschaft AJ Auxerre B in der Division 3. 1981 wechselte Klose zum Viertligisten Football Club Chalon, mit dem er 1982 in die Division 3 aufstieg. Nach zwei weiteren Spielzeiten beendete Klose seine aktive Laufbahn.
Josef Klose ist mit der ehemaligen polnischen Handballspielerin Barbara Jeż verheiratet. Sie sind die Eltern des im Juni 1978 geborenen deutschen Fußballspielers Miroslav Klose und einer Tochter.
