In de loop van het oplopende conflict tussen de nationaalsocialistische regering en de Rooms-Katholieke Kerk weigert Eltz-Rübenach, een vroom katholiek, tijdens een kabinetsbijeenkomst op 30 januari 1937 het door Adolf Hitler persoonlijk aangeboden Gouden Ereteken van de NSDAP en treedt af. Hij wordt daarna als 'verdacht' persoon door de Gestapo in de gaten gehouden, en zijn pensioenrechten worden tijdelijk ingetrokken.
Eltz-Rübenach sterft uiteindelijk op 68-jarige leeftijd in Linz am Rhein.
.svg){kind=small}
.svg){kind=small}
