Iniciou sua carreira em 1978 como atacante do Freiburg, clube na qual permaneceu durante duas temporadas e teve mais duas passagens, após passagens apagadas por equipes maiores, como Stuttgart e Eintracht Frankfurt. Quando tinha 29 anos, acabou se transferindo para o futebol suíço, onde permaneceu durante suas últimas cinco temporadas. Antes, chegou a atuar pela Seleção Alemã Sub-21 por quatro vezes.
Carreira como treinador
Início
Ainda atuando como jogador, começou a treinar as categorias de base do Winterthur, da Suíça, onde permaneceu durante pouco tempo. Continuando como jogador, acabou se transferindo para o Frauenfeld, onde também foi o treinador da equipe. Acabou voltando ao futebol alemão, como auxiliar técnico no Stuttgart e, apenas uma temporada depois, assumiu a equipe principal, onde permaneceu por mais duas temporadas, onde conquistou uma Copa da Alemanha em 1997 e foi finalista da Recopa Europeia no ano seguinte.
Apesar das conquistas no Stuttgart, acabou sendo dispensado e indo para o futebol turco, onde comandou o Fenerbahçe por uma temporada. Voltou ao futebol alemão logo após sua apagada passagem. Treinou o Karlsruher, onde ficou durante uma época no comando do time, sendo demitido logo após. Retornou ao turco para treinar o Adanaspor, mas ficou pouco tempo, indo para o Tirol Innsbruck, da Áustria, onde conquistou um Campeonato Nacional. Apenas um ano depois, devido sua conquista no Tirol, acabou assumindo o Áustria Viena.
Seleção Alemã
Acabou retornando à Alemanha novamente e aceitou o convite de Jürgen Klinsmann, onde seria seu auxiliar na Mannschaft. Em 2006, logo após a Copa do Mundo FIFA, Löw acabou assumindo o comando da equipe após a saída de Klinsmann. O novo técnico classificou o país para a Euro 2008 e chegou na final do torneio, mas a Alemanha terminou com o vice-campeonato após uma derrota por 1 a 0 para a Espanha.[2]
Copa do Mundo de 2010
Fez uma boa campanha na Copa do Mundo FIFA de 2010, realizada na África do Sul, onde tinha jogadores jovens, rápidos e mortais no contra-ataque. Os destaques, que viriam a tornar-se pilares do treinador, foram: Manuel Neuer, um excelente goleiro, Jérôme Boateng, um defensor versátil que atuou como zagueiro e lateral, Sami Khedira, um volante com boa marcação e saída de jogo, Mesut Özil, um meio-campista com grande visão e bons passes, além de Thomas Müller, um atacante que ganhou os prêmios de Revelação da Copa e Chuteira de Ouro (por ser o artilheiro). Os jovens comandados por Löw golearam nada mais nada menos que a Inglaterra e a Argentina por 4 a 1[3] e 4 a 0, respectivamente.[4]
Em julho de 2014, Löw conquistou o seu primeiro título como treinador da Mannschaft: a Copa do Mundo no Brasil.[7] Apesar de ter derrotado a Argentina na final, a Alemanha teve como principal destaque a goleada por 7 a 1 sobre a Seleção Brasileira.[8]
Euro 2016
Na Euro 2016 a Seleção Alemã acabou sendo eliminada pela França nas semifinais,[9] na competição que seria conquistada por Portugal.
A Seleção Alemã perdeu a primeira partida da Copa do Mundo na Rússia por 1 a 0 contra o México.[13] Na partida seguinte derrotou a Suécia com uma vitória por 2 a 1[14], mas acabou por ser eliminada ainda na fase de grupos após uma nova derrota, desta vez para a Coreia do Sul.[15][16]
Liga das Nações
No dia 6 de setembro a Alemanha enfrentou a França, em Munique, na estreia da Liga das Nações da UEFA, em partida que terminou 0 a 0.[17] Posteriormente os alemães conseguiram uma vitória suada contra a Seleção Peruana por 2 a 1, mas acabaram perdendo dois jogos seguidos na Liga das Nações para a Holanda[18], e de virada para a França por 2 a 1 em Paris.[19] Com isso, a Alemanha seria rebaixada para a divisão B da Liga das Nações, porém, devido ao mudança do regulamento do torneio, escapou do rebaixamento.
Saída
Em 30 de junho de 2021, após uma derrota para a Inglaterra e a eliminação na Euro 2020 (adiada por conta da pandemia de COVID-19), Low deixou a Mannschaft após mais de 15 anos no comando.[20]