Gage meni vuonna 1880 naimisiin Francesca V. Rainsin kanssa. Hän sai viisi lasta.
Gage nimitettiin vuonna 1909 suurlähettilääksi ("ministeriksi") Portugaliin. Hän erosi virasta 1911 ja kuoli Los Angelesissa 71-vuotiaana. LA:n Gage Avenue on nimetty hänen mukaansa.