Вскоре после Первой мировой войны Йозеф Урбан поступил на работу в полицию и работал регулировщиком.
В 1925 году завоевал первый национальный титул. В 1926 году стал серебряным призёром чемпионата Европы, в 1927 году — бронзовым.
На Летних Олимпийских играх 1928 года в Антверпене боролся в весовой категории свыше 82,5 килограммов (тяжёлый вес). На этих играх был введён регламент, в соответствии с которым борец получал в схватках штрафные баллы. Набравший 5 штрафных баллов спортсмен выбывал из турнира. В тяжёлом весе борьбу вели 15 борцов
Йозеф Урбан безоговорочно победил в первых трёх встречах, но в четвёртой был туширован на тот момент двукратным серебряным призёром олимпийских игр и будущим чемпионом этих игр Рудольфом Свенссоном. В следующей встрече Урбан уступил, и набрав более пяти штрафных баллов, из турнира выбыл, оставшись на пятом месте.
В 1929 году вновь завоевал бронзовую медаль чемпионата Европы.
В Лос-Анджелес поехал на средства, собранные коллегами по полиции. На Летних Олимпийских играх 1932 года в Лос-Анджелесе боролся в весовой категории свыше 82,5 килограммов (тяжёлый вес). Регламент турнира оставался прежним. В тяжёлом весе борьбу вели всего 5 борцов.
Йозеф Урбан в первой же встрече проиграл двукратному олимпийскому чемпиону Карлу Вестергрену. Во втором круге, который Урбан пропускал, Вестергрен неожиданно проиграл Георгу Герингу, что выводило Геринга в число претендентов на золотую медаль, и соответственно ставило под вопрос очередное чемпионство Вестергрена. Но в третьем круге Йозеф Урбан также неожиданно победил Геринга, в результате чего Геринг выбыл из соревнований, набрав пять штрафных баллов (по одному за две победы по очкам и три за поражение) что вернуло шансы на победу Вестергрену. К финальному раунду лидировал Николаус Хиршль, имевший всего 3 штрафных балла, на втором месте оставался Вестергрен (победивший Хиршля) с 4 баллами, а на третьем был Йозеф Урбан, тоже с 4 баллами, но проигравший Вестергрену. Таким образом, судьба золотой медали решалась во встрече Урбана и Хиршля. В случае, если Хиршль побеждал чисто, он с тремя баллами оставался бы на первом месте, далее располагались бы Вестергрен и Урбан. В случае, если Хиршль побеждал по очкам, тогда он с 4 баллами как проигравший Вестергрену, занял бы второе место, а Вестергрен первое. Но Йозеф Урбан нарушил все эти планы, тушировав на 11 минуте схватки Хиршля. Своим выступлением чешский борец обеспечил себе серебряную медаль, а Карлу Вестергрену — звание трёхкратного чемпиона олимпийских игр, причём дважды, победив Геринга и победив Хиршля.