Löws karriere som spiller førte ham til flere forskellige klubber, men størst succes havde han i SC Freiburg, hvor han spillede i tre omgange. Også som træner har han været en del omkring, blandt andet to gange i Tyrkiet. Det var i almindelighed en stor overraskelse, da Jürgen Klinsmann udpegede ham som sin assistent ved tiltrædelsen som tysk landstræner i 2004. Parret havde stor succes under VM i fodbold 2006, hvor det tyske landshold kun akkurat ikke kom i finalen og endte på en tredjeplads.
Da Klinsmann herefter ikke ønskede at forlænge sin kontrakt, blev Löw forfremmet til landstræner. Han fulgte VM-successen op med sølvmedaljer ved EM i fodbold 2008, og kvalificerede også landet til VM i 2010 i Sydafrika, hvor det endte med en tredjeplads.
I 2014 førte Löw landsholdet til guld ved VM i Brasilien.
I marts 2021 offentliggjorde det tyske fodboldforbund, at Löw ville stoppe som landstræner efter EM 2021.[1]
