Il succède à son oncle William Noel en tant que député de Rutland en 1840, mais n'occupe ce siège que l'année suivante. Il sert ensuite en 1848 comme haut shérif de Rutland. En 1866, il succède à son père dans le comté et entre à la Chambre des lords. L'année suivante, il est nommé Lord Lieutenant du Rutland, poste qu'il occupe jusqu'à sa mort. Il est lieutenant-colonel dans le Leicestershire Yeomanry du Prince Albert de 1879 à 1881.
Lui et sa femme embrassent le catholicisme romain le jour du nouvel an 1850[2].
Lady Gainsborough est décédée en octobre 1867. Lord Gainsborough reste veuf jusqu'à sa mort en août 1881, à l'âge de 62 ans. Son fils aîné, Charles, lui succède au comté.