Victor Cavendish-Bentinck var son till William George Frederick Cavendish-Bentinck (1856–1948) och Ruth Saint Maur (1867–1953).
År 1924 gifte sig Victor Cavendish-Bentinck med Clothilde Bruce Quigley (1904–1984), men de skildes 1948. Makarna fick två barn:
William James Cavendish-Bentinck (1925–1966), som gifte sig tre gånger, 1949 med Pamela Collins (skilda 1954), 1954 med Inger Grantzau-Christensen (skilda 1960) och 1960 med Eleanor Barbara Muriel Lygon (skilda 1965), men som dog barnlös, samt
Mary Jane Cavendish-Bentinck (1929–2010), som 1963 gifte sig med Alexander Georgiadis (skilda 1978) och 1978 med Stephen Ritchards Graubard.
En andra dotter, Barbara Cavendish-Bentinck, fick han i sitt andra äktenskap, som han ingick 1948 med Kathleen Barry (1912–2004).
År 1980 ärvde Victor Cavendish-Bentinck hertigtiteln av sin bror Ferdinand, som dog barnlös. Hertigtiteln och några av Victor Cavendish-Bentincks övriga adelstitlar dog ut med honom 1990, eftersom hans son hade dött utan att efterlämna manlig avkomma.