En 2002, Rui Silva remporte son deuxième titre continental indoor en s'imposant lors des Championnats d'Europe en salle de Vienne, en Autriche, devant l'Espagnol Juan Carlos Higuero. Il se classe troisième des Championnats d'Europe 2002 de Munich et établit cette même saison à Monaco la meilleure performance de sa carrière sur 1 500 m en 3 min 30 s 07.
Rui Silva monte sur la troisième marche du podium des Jeux olympiques de 2004, à Athènes, où il s'incline avec le temps de 3 min 34 s 68 face au Marocain Hicham El Guerrouj et au Kényan Bernard Lagat. Durant cette finale des JO d'Athènes, il réalise un dernier tour de folie en dépassant 9 concurrents. Son dernier 400 m a été chronométré en 50 s 80 (c'est-à-dire le dernier tour le plus rapide jamais réalisé sur une course de 1 500 m). Médaillé de bronze aux Championnats du monde 2005, il se classe troisième de la course individuelle des Championnats d'Europe de cross, permettant à l'équipe du Portugal d'occuper la première place du classement général par équipes.