USA:s postminister Aaron V. Brown avled 1859 i ämbetet och efterträddes av Holt. Följande år efterträdde han John B. Floyd som krigsminister. Holt tjänstgjorde därefter först som överste i nordstaternas armé och utnämndes 1862 till generalauditör. Han befordrades till general.