1942 heiratete er Elizabeth Alison Makeig-Jones, mit der er vier Söhne und vier Töchter hatte.
Nach Kriegsende strebte er eine Karriere in der Politik an. Die Pläne, als Kandidat der Konservativen für einen Sitz im Unterhaus zu kandidieren, zerschlugen sich aber 1949, als Lyttelton beim Tod seines Vaters dessen Adelstitel als 10. Viscount Cobham erbte und damit ins Oberhaus einzog.
Wie schon sein Vater und sein Großvater zuvor, war er in den Jahren 1954/55 Präsident des Marylebone Cricket Clubs, der höchsten Instanz im englischen Cricket.
Im Land war er populär. Aufgrund seiner vielseitigen sportlichen Interessen, neben Cricket unter anderem auch Golf und Fliegenfischen, gelang es ihm, trotz seiner aristokratischen Herkunft vielseitige Kontakte zu den Bewohnern aufzubauen. Noch im Alter von 51 Jahren spielte er mit einer guten persönlichen Leistung in einem First-Class Cricket Spiel in einer von ihm zusammengestellte Mannschaft gegen ein Team des Marylebone Cricket Clubs.
Lyttelton war ein guter Redner, der oft klassische Zitate verwandte. In seine Amtszeit fielen keine größeren politischen Krisen, die er hätte bewältigen müssen, obgleich die Regierung zweimal wechselte. Der Kontakt zu den jeweiligen Premierministern war gut.
Nach dem Ende seiner Amtszeit im Jahre 1962 kehrte Lyttelton ins Vereinigte Königreich zurück. Dort übernahm er verschiedene Leitungspositionen in der Wirtschaft, bevor er 1967 das Amt des Lord Steward of the Household, des Oberhofmarschalls, am Hof von Königin Elisabeth übernahm. Gleichzeitig wurde er Mitglied des Privy Council. Von 1963 bis 1974 war er außerdem Lord Lieutenant von Worcestershire.
Lyttelton starb 1977 in Marylebone in London. Seine Adelstitel fielen daraufhin an seinen ältesten Sohn John und bei dessen kinderlosem Tod 2006 an seinen zweitältesten Sohn Christopher.
