За лінією матері вів своє походження від ногайськогоханаЮсуф-Мурзи (родоначальником, за легендою, був племінник пророка Мухамеда). Рід Юсупових за чоловічою лінією припинився після смерті Миколи Борисовича Юсупова. Коли Зінаїда Юсупова одружилась з графом Сумароковим-Ельстон, імператорським повелінням старшому з їхніх синів було приписано носити прізвище та титул Юсупових. Після того як в 1908 році старший брат Фелікса Микола загинув на дуелі з графом Арвідом Мантейфелем, Фелікс став єдиним спадкоємцем титулів батька й матері та прізвища «Юсупов».
Зараз його прямими нащадками є внучка Юсупова — Ксенія Сфірі і її дочка Татьяна Сфірі. Рід продовжується і за лінією внучатої племінниці Фелікса Юсупова. Сьогодні прямим нащадком цієї лінії є Оксана Дамаскіна.[джерело?]