Trascorse la sua carriera di calciatore per la maggior parte nello Szeged AK disputando anche tre partite con la maglia della Nazionale ungherese tra il 1937 e il 1938.
Appese le scarpette al chiodo, intraprese la carriera di allenatore in Germania Est: la prima squadra che guidò fu la Dinamo Dresda nella stagione 1953-1954, conclusasi con un terzo posto da parte della squadra.
Nel 1955 Gyarmati fu nominato commissario tecnico della Nazionale tedesca orientale, guidandola fino al 1957 (anno in cui fu esonerato dopo aver fallito la qualificazione al campionato del mondo 1958) per un totale di dieci partite (cinque vittorie e altrettante sconfitte). In seguito guidò la Dinamo Berlino nella stagione 1961-1962, portandola al terzo posto in campionato e alla finale della coppa nazionale.