Žužej vant en olympisk sølvmedalje i vannpolo under Sommer-OL 1956 i Melbourne. Han var med på det jugoslaviske laget som kom på andreplass i vannpoloturneringen bak Ungarn. Finalerunden besto av seks lag, det jugoslaviske laget vant tre kamper og tapte en og spilte én uavgjort. Ungarn, som vant alle fem kampene, fikk ti poeng og sølvvinnerne Jugoslavia sju. Žužej spilte alle sju kampene i OL-turneringen.
Fire år senere, i Sommer-OL 1960 i Roma, spilte han alle sju kampene og scoret seks mål, da Jugoslavia endte på fjerdeplass.