Han var biträdande krigsminister 1937-1940. Han var en anhängare av militär upprustning och hamnade ofta i konflikt med den isolationistiskt sinnade krigsministern Harry Hines Woodring. Efter Frankrikes fall 1940 sparkade president Franklin D. Roosevelt både Woodring och Johnson.
I 1948 års presidentvalskampanj samlade Johnson effektivt pengar till Harry S. Trumans kampanjkassa. Han tjänstgjorde som USA:s försvarsminister under president Truman 1949–1950.
Representanthusets försvarsutskott inledde en undersökning av försvarsministerns ämbetsutövning. USA:s flotta var speciellt missnöjd med flygplanet Convair B-36 i USA:s flygvapen och dess möjligheter att penetrera Sovjetunionens luftrum. Även om missnöjet var koncentrerat kring B-36 och Johnson och flygvapenministerStuart Symington, var en djupare anledning till amiralernas oro Johnsons mål att minska flottans resurser. Representanthusets undersökning förkastade flottans anklagelser, benämnda som amiralernas revolt, mot Johnson och Symington som grundlösa.
Medan Johnsons sparåtgärder hade varit i linje med president Trumans politik, var det han som fick bära skulden för misslyckandena i Koreakriget. Johnson avgick i september 1950 på Trumans begäran. Han fortsatte sin karriär inom juridiken till slutet av sitt liv.[5]
^ [abc] Historical Office of the Office of the Secretary of Defense, Department of Defense Key Officials : September 1947–October 2023, Historical Office of the Office of the Secretary of Defense, 3 oktober 2023, s. 5, läs online.[källa från Wikidata]
^s. 678, ISBN 0-671-45654-7, ”he named for financial chairman Louis A. Johnson of Clarksburg, West Virginia, a former commander of the American Legion and Assistant Secretary of War who had headed the financial committee of the Democratic Party from 1936 to 1940. Johnson was a looming, bald-headed, headstrong corporation lawyer and millionaire who stood over six feet tall and weighed 250 pounds.”.[källa från Wikidata]