Золтан Варга почав свою футбольну кар'єру в 1961 році в угорському клубі «Ференцварош», у клубі він провів до 1968 рік. Між 1964 і 1968 роками він зіграв 13 ігор за збірну своєї країни і разом з угорською командою став переможцем Олімпійських ігор 1964 в Токіо.
У 1968 році під час гри в Мексиці він утік з угорської команди і в результаті був засуджений до смертної кари, цю втечу йому інкримінували як втечу з соціалістичної країни. Перебравшись до Бельгії, Золтан один рік виступав за «Стандард» з міста Льєж. Потім він переїхав до ФРН, де грав за берлінську «Герту» з 1969 по 1972 рік, і був одним з улюбленців місцевих уболівальників. Сезон 1971/1972 в чемпіонаті ФРН був ознаменований скандалом, в зв'язку зі сфальсифікованими матчами. Варга був причетний до тих подій і оштрафований на 15 000 німецьких марок, і на нього було накладено заборону на виступи в чемпіонаті ФРН з 23 січня 1972 року по 30 червня 1974 року.
У 1972 році Варга продовжив свою кар'єру в шотландському «Абердіні», в якому провів один сезон 1972/1973. У 1973 році перейшов у нідерландський «Аякс», у якому провів 12 матчів і забив два м'ячі. Після закінчення терміну дискваліфікації в ФРН Варга перейшов у «Боруссію» з Дортмунда. У дортмундській команді Варга провів два сезони, після яких відправився в австрійський «Аугсбург». Завершив ігрову кар'єру в 1977 році в бельгійському «Генті». З 1977 по 1983 рік Золтан Варга виконував обов'язки граючого тренера дортмундської «Боруссії». Пізніше тренував кілька клубів з Німеччини. У 1997 році повернувся в Угорщину, де тренував «Ференцварош», «Дунафер», «Діошдьер» та «Дьйор». У 2003 році Золтан Варга обіймав посаду технічного радника клубу «Дьйор».