Roku 1854 se Robertova matka, vévodkyně Louisa Marie Tereza Francouzská, roz. de Berry, stává regenkou parmskou. V roce 1859 prchá Louisa Marie se svými dětmi do Švýcar a později do Rakous. Roku 1860 přechází Parma pod království sardinské. Titul Vévoda z Parmy je od té doby předáván mužským potomkům.