I sin ungdom levde han ett utsvävande nöjesliv, och hade en lång rad romanser, bland annat med Brigitte Bardot.
Familj
Viktor Emanuel gifte sig den 7 oktober 1971 i Teheran i Iran, med Marina Ridolfi Doria (född 1935).
Paret fick en son, Emanuele Filiberto (född 1972), som sedan 2003 är gift med den franska skådespelerskan Clotilde Courau. De har två döttrar, Vittoria (född 2003) och Luisa född 2006).
Skandaler och tronanspråk
År 1978 var Viktor Emanuel inblandad i en mycket uppmärksammad skandal. Han var på semester med sin familj på den lilla ön Isola di Cavallo utanför Korsika. Hans lustjakt låg förtöjd i hamnen på ön. Sent en kväll seglade en annan lustjakt, med glada och högljudda ungdomar ombord, också in i hamnen. Viktor Emanuel upptäckte att en av hans gummibåtar var borta, trodde ungdomarna hade stulit den och gick helt sonika och hämtade en automatkarbin. I mörkret träffades en 19-årig tysk av skottet; han avled av sina skador. Viktor Emanuel häktades men släpptes efter bara några få dagar. I nästan 13 år lyckades han förhindra en rättegång - när den så äntligen ägde rum, frikändes Viktor Emanuel på alla punkter.
Han häktades dock den 16 juni2006, anklagad för bl.a. korruption, samröre med organiserad brottslighet och inblandning i prostitution. I september 2006 erkände han i polisförhör att han dödat den 19-årige tysken på Korsika 1978.
Den 7 juli2006 presenterade hans kusin Amadeo, hertig av Aosta, dokument som visar att Viktor Emanuels far, Umberto II, varnade sin son för att gifta sig morganatiskt, eftersom det inte skulle godkännas av fadern. Detta skulle innebära att Viktor Emanuel skulle ställa sig utanför successionen. Med stöd av detta har Amadeo den 7 juli 2006 utropat sig själv till tronpretendent och hertig av Savojen, den titel i det italienska kungahuset som kronprinsen bär. Viktor Emanuel menar å sin sida att han uppfyllt kraven på likvärdig maka, då han själv 1971 utropade sig till huvudman för kungahuset och som sådan gav sin tilltänkta en markisinnetitel.