À partir de 1756, il combat en tant que général de cavalerie mais se retire du service militaire en 1758. Il s'intéresse dès lors aux affaires humanitaires et culturelles, comme la réorganisation de l'orchestre de la cour pour laquelle il engage Joseph Haydn en tant que vice-maître de chapelle.
En 1762, il meurt sans laisser de descendance. Son frère Nicolas Ier est son successeur au titre de prince d'Esterházy.