Varga speelde in de jeugd van Videoton en Vasas SC Boedapest. Hij debuteerde in 2013 in het betaald voetbal in het shirt van MTK Boedapest. Hier speelde hij zich in onder de aandacht van sc Heerenveen, dat hem in januari 2014 inlijfde. Nadat Varga in Nederland een half jaar niet aan spelen toekwam, verhuurde de Friese club hem gedurende het seizoen 2015/16 aan MTK Boedapest, waarnaar hij in juli 2016 definitief terugkeerde.