A 2003-as svéd rali volt karrierje első világbajnoki futama. 2004-ben két győzelemmel negyedik helyen végzett a rali-világbajnokság N csoportjában (PCWRC). A 2005-ös évben, az OMV szponzorálásával már lehetősége volt WRC-vel versenyezni, hazai futamán a Katalán Rally-n negyedik helyen zárt. 2006-ban a Kronos Racing tagjaként vágott neki az évnek. A nagy sikerek elmaradtak, még csapattársa, Sébastien Loeb megszerezte a bajnoki címet, addig Xavier hetedik lett az összesítettben.
