Как игрок выступал за финские клубы ЮП и «Ахмат Хювинкяа». В составе студенческой сборной Финляндии стал бронзовым призёром 14-й Зимней Универсиады, прошедшей в Софии в 1989 году.
Тренера
В начале тренерской карьеры работал с юношеской сборной Финляндии, финскими клубами «Ильвес», «Лукко», «Спорт», а также с итальянским «Аллеге» и британским «Ньюкасл Риверкингс» / «Ньюкасл Джестерс». В 2001—2007 годах тренировал ХПК; под его руководством клуб стал чемпионом Финляндии в 2006 году (в том же году Юкка Ялонен получил трофей Калеви Нумминена — лучшему тренеру СМ-Лиги), четырежды становился бронзовым призёром СМ-Лиги, а в январе 2007 года стал вторым в Кубке европейских чемпионов.
В сезоне 2007/08 был ассистентом тренера сборной Финляндии, в 2008 году возглавил сборную и занимал эту должность до ЧМ-2013 включительно; во главе сборной выиграл чемпионат мира 2011 года и стал бронзовым призёром Олимпиады-2010. В конце 2012 года возглавил петербургский СКА. В 2013 году под руководством Ялонена СКА завершил на 1-м месте регулярный чемпионат (выиграв Кубок Континента), а в плей-офф уступил московскому «Динамо» в финале конференции. В плей-офф 2014 года СКА выбыл во втором раунде (уступив «Локомотиву»); после этого, 4 апреля 2014 года, Ялонен и другие члены тренерского штаба покинули свои посты, а новым главным тренером СКА стал Вячеслав Быков.
На ЧМ-2019 в Словакии завоевал со сборной золотые медали, обыграв хозяев чемпионата, а также сборные Швеции, России и дважды (в том числе в финале) сборную Канады.
В 2021 году дошел вместе с командой до финала ЧМ, где проиграл Канаде.
В 2022 году сделал "золотой дубль", выиграв вместе с командой последовательно и ОИ, и ЧМ, тем самым сделав Финляндию – второй страной в истории, выигравшей Олимпиаду и ЧМ по хоккею в один год. Ранее это сделала Швеция в 2006 году.