Urodził się jako Thomas Philip Robinson. Był najstarszym synem Thomasa Robinsona, 2. barona Grantham, i Mary Yorke, córki 2. hrabiego Hardwicke. Jego młodszym bratem był Frederick Robinson, późniejszy premier Wielkiej Brytanii. Po śmierci ojca w 1786 r. Thomas odziedziczył tytuł 2. barona Grantham i po osiągnięciu wymaganego prawem wieku zasiadł w Izbie Lordów. W 1803 r. zmienił nazwisko nad Weddell. Po śmierci ciotki w 1833 r. odziedziczył tytuł 2. hrabiego de Grey. Zmienił również nazwisko na de Grey.
20 lipca 1805 r. poślubił lady Henriettę Cole, córkę 1. hrabiego Enniskillen. Miał z nią dwie córki. Najstarsza, Anne, odziedziczyła po jego śmierci tytuł baronowej Lucas of Crudwell. Tytuły hrabiego de Grey i barona Grantham odziedziczył bratanek Thomasa, George.
