2002 volt Mathieu áttörésének éve. A 4. körig jutott a francia nyílt teniszbajnokságon, csak Andre Agassi tudta megállítani a franciát 5 szettes csatában. Ebben az évben megnyert két tornát Moszkvában és Lyonban. Október 14-én 36. lett a világranglistán és őt választották meg az év felfedezettjének. Ebben az évben majdnem megnyerte a Davis-kupát a francia csapattal, de a döntő mérkőzést elvesztette az orosz Mihail Juzsnijjal szemben.
2006-ban a legjobb Grand Slam-eredményét az Australian Openen érte el, ahol a 4. körig jutott. A Roland Garroson a spanyolRafael Nadal tudta csak megállítani a 3. körben, ahol az első játszmát Mathieu nyerte 5-7 arányban, majd pedig Nadal fordított 6-4 6-4 6-4 arányban. Összesen 4 óra 53 percig tartott a küzdelem.