Juhani Järvinen voitti pikaluistelun poikien Suomen mestaruuden 1951–1953 ja nousi kansainväliseen tietoisuuteen 18-vuotiaana DavosinEM-kisoissa 1954, joissa hän sijoittui yhteispisteissä viidenneksi. Hänen matkakohtaiset sijoituksensa olivat kahdeksas (500 metriä), seitsemäs (5 000 metriä), viides (1 500 metriä) ja seitsemäs (10 000 metriä).
Järvisen uran paras vuosi oli 1959. Oslon MM-kisoissa Järvinen voitti kultamitalin sijoituttuaan osamatkoilla kuudenneksi 500 metrillä (ajalla 43,4), kolmanneksi 5 000 metrillä (8.13,6), toiseksi 1 500 metrillä (2.16,2) ja seitsemänneksi 10 000 metrillä (17.19,9). Toivo Salonen varmisti Suomen kaksoisvoiton. Göteborgin EM-kisoissa Järvinen sai hopeaa NorjanKnut Johannesenin jälkeen. Matkavoiton hän sai 1 500 metrillä (2.15,5). Squaw Valleyn olympialaisten esikisoissa Järvinen luisteli 1. maaliskuuta 1 500 metrin maailmanennätyksen 2.06,3, joka pysyi voimassa lähes seitsemän vuotta, kunnes HollanninArd Schenk alitti sen.
Järvinen osallistui sekä MM- että EM-kisoihin kahdeksan kertaa. Olympiamitalisti Toivo Saloselle hän hävisi arvokisojen yhteispisteissä vain kerran mutta SM-kisoissa Järvinen jäi seitsemän kertaa hopealle ja viidesti hänen edellään mestarina oli Salonen. Järvinen valittiin vuoden urheilijaksi 1959.
Ratapyöräilijänä Juhani Järvinen saavutti TUL:n mestaruuden 4 000 metrin joukkuetakaa-ajossa 1957 ja pronssia tandemajossa 1958. Hän toimi TUL:n luisteluvalmentajana 1964–1968, Helsingin Työväen Luistelijain puheenjohtajana 1972–1984 ja Suomen Olympiakomitean hallituksen jäsenenä 1977–1984. Hänen leskensä Anja Järvinen on toiminut Suomen Olympiakomitean hallituksen jäsenenä ja Suomen Olympia-Akatemian puheenjohtajana. Heidän poikansa Timo Järvinen on pikaluistelun olympiaedustaja ja pikaluisteluvalmentaja.
