En février 1861, il succède à son frère en tant que cinquième baron Braybrooke et hérite du domaine d'Audley End House. Il s'intéresse beaucoup aux affaires locales et est influent dans la ville voisine de Saffron Walden et le comté d'Essex. Lord Braybrooke est visiteur héréditaire du Magdalene College de Cambridge et juge de paix, lieutenant adjoint et vice-lieutenant d'Essex. Il est capitaine du 17th Essex Rifle Volunteers.
Il épouse le 9 octobre 1849 Florence Priscilla Alicia Maude (1825-1914), fille de Cornwallis Maude (3e vicomte Hawarden) et sœur de Cornwallis Maude (1er comte de Montalt). Ils ont une fille unique, Augusta Neville (1860-1903), qui épouse Richard Strutt (1848-1927), un fils cadet du 2e baron Rayleigh. La baronnie passe à sa mort à un frère cadet, Latimer Neville (1827-1904).
