Tijdens de Eerste Wereldoorlog diende Schmidt van 1917 tot 1918 als soldaat in het Duitse leger. In 1918 raakte hij gewond aan het westfront. Hierna ging hij moderne talen studeren in Berlijn en tegelijkertijd werkte hij voor een Amerikaans persbureau. Vanaf 1921 volgde hij een studie bij het Ministerie van Buitenlandse Zaken. Hij blonk hierbij uit door zijn voortreffelijke geheugen. In 1923 werd hij vanuit het ministerie aangesteld als vertaler bij het Permanent Hof van Internationale Justitie in Den Haag. Na een vervolgstudie kreeg hij in 1924 een baan als tolk bij het Ministerie van Buitenlandse Zaken. Hij vertaalde tijdens het Verdrag van Locarno in 1935 en nam deel aan meerdere andere internationale conferenties. Hij trad tussen 1926 en 1933 op als tolk bij de Volkenbond en de Conferentie van Londen in 1933.
Tweede Wereldoorlog
Onder Gustav Stresemann werd hij chef-tolk en dit bleef hij ook na het aantreden van Adolf Hitler in 1933. Bij de conferentie van München in 1938 vertaalde hij de gesprekken tussen Hitler, Neville Chamberlain en Édouard Daladier. Tijdens de oorlog fungeerde Schmidt als tolk, in de rang van SS-Standartenführer, bij gesprekken tussen Hitler en onder andere de Franse maarschalk Philippe Pétain en de Spaanse leider Francisco Franco. Na de Raid op Dieppe in 1942 was hij betrokken bij de verhoren van vele Canadese krijgsgevangenen. Hij bleef in dienst als chef-tolk tot het einde van de Tweede Wereldoorlog in 1945.
Na de oorlog
In 1945 werd hij gearresteerd en in 1946 stond hij terecht tijdens de Processen van Neurenberg. Gesprekken met hem gedurende deze processen werden genoteerd door Leon Goldensohn en later gepubliceerd. In 1948 werd hij door de Amerikanen vrijgelaten. In 1952 ging hij werken bij het Sprachen und Dolmetscher Institut in München, een taal- en tolkenopleiding. In 1967 ging hij met pensioen.