Его родоначальником был сэрДжон Кавендиш — судья в суде королевской скамьи — убит в 1381 году при восстании Уота Тайлера. Джордж Кавендиш (умер в 1561 или 1562) служил при кардинале Уолси и составил описание последних лет жизни своего начальника: «Life of Cardinal Wolsey» — сочинение, которым Шекспир пользовался для своего «Генриха VIII» и которое имеет несомненную ценность и историческую достоверность. Долгое время автором его считали младшего брата Джорджа, Вильяма Кавендиша.