Discende da una famiglia appartenente al mondo del cinema e del teatro, infatti il padre è l'attore James Fox, gli zii sono l'attore Edward Fox e il produttore Robert Fox. Inoltre è cugino dell'attrice Emilia Fox e sua sorella Lydia è anche lei un'attrice di successo. È stato sposato dal 2007 al 2016 con l'attrice Billie Piper, da cui ha avuto due figli.