Bailly startte zijn carrière in de autosport in het karting in 2004. In 2007 werd hij vijfde in het wereldkampioenschap. In 2008 maakte hij de overstap naar het formuleracen. Hij reed dat jaar twee races in de Formule Renault WEC voor Boutsen Energy Racing. In 2009 reed hij een volledig seizoen in de Formul'Academy Euro Series, een Formule Renault klasse. Hij vertrok drie keer vanaf poleposition en won zes races. Met 162 punten, 45 punten voorsprong op de tweede in de eindstand, won hij het kampioenschap.
In 2010 ging hij aan de slag in het Formule 2 kampioenschap.[1] Hij won een manche op het circuit van Zolder en werd zevende in de eindstand van het kampioenschap.
