Райтсон женился на Анне, дочери Роберта Бурдетта и сестре сэра Роберта Бурдетта, от которой у него был сын и четыре дочери. Их наследником стал Фрэнсис Ноэль Кларк Манди.
Одна из дочерей Манди вышла замуж за Роберта, 7го графа Феррерс[2], а Миллисент вышла замуж за французского капитана и была изображена на портрете Джозефа Райта[3].