Urodzony w 1840, w młodym wieku został sierotą. Jego ojciec zmarł w 1842 – w wypadku powozu w Sablonville, a matką w 1857 zmarła na grypę, którą zaraziłą się od Roberta. Robertem i jego starszym bratem zaopiekowali się dziadkowie: król Ludwik Filip I i królowa Maria Amelia Sycylijska. Po rewolucji 1848 roku, która obaliła jego dziadka, cała rodzina zmuszona była udać się na wygnanie. 24 lutego Ludwik Filip I chciał abdykować na rzecz swojego wnuka – starszego brata Roberta. Matka braci w tym wypadku zostałaby proklamowana regentką. Parlament francuski nie zgodził się na nowego króla i ustanowił II Republikę. Robert z bratem i matką udali się do Niemiec, a Ludwik Filip I i pozostali członkowie rodziny – do Anglii.