Mellem 2001 og 2010 stod Rehhagel i spidsen for Grækenlands landshold, som under tyskerens ledelse opnåede sin største succesperiode nogensinde. Holdet vandt sensationelt EM i 2004 i Portugal, efter undervejs at have besejret både de regerende mestre Frankrig, Tjekkiet og værterne Portugal.[3] Han kvalificerede også holdet til EM i 2008 og VM i 2010. Ved begge disse slutrunder måtte holdet dog forlade turneringen efter indledende runde, og efter VM i 2010 trådte Rehhagel tilbage fra sin stilling.[4]
