Joachim Löw profesjonalną karierę piłkarską rozpoczął w 1978 roku w występującym wówczas w 2. BundeslidzeSC Freiburg. Następnie w 1980 roku przeszedł do VfB Stuttgart, w barwach którego zadebiutował w Bundeslidze dnia 7 lutego 1981 roku w przegranym meczu wyjazdowym swojego zespołu z FC Köln (1:3). Zespół sezon 1980/1981 zakończył rozgrywki na 3. miejscu, jednak Löw nie zdołał przebić się do podstawowego składu zespołu (wystąpił w zaledwie czterech meczach) i po sezonie opuścił klub[1].
Następnym klubem w karierze Löwa był Eintracht Frankfurt, gdzie w sezonie 1981/1982 odegrał większą rolę, niż w VfB Stuttgart (24 mecze, 5 goli). Po sezonie wrócił do SC Freiburg, gdzie w latach 1982–1984 rozegrał w 2. Bundeslidze rozegrał 65 meczów i strzelił 25 goli. Potem wrócił do Bundesligi, tym razem reprezentując barwy Karlsruher SC, gdzie rozegrał 24 mecze i strzelił 2 bramki, nie uchronił wraz z kolegami klubu przed spadkiem z ligi i sezon 1984/1985 klub zakończył na przedostatnim 17. miejscu. Następnie ponownie wrócił do SC Freiburg, gdzie występował do 1989 roku (116 meczów i 38 bramek). Łącznie w Bundeslidze rozegrał 52 mecze i strzelił 7 goli, a w 2. Bundeslidze zagrał w 252 meczach, strzelając w nich 81 goli.
Potem Löw wyjechał do Szwajcarii w celu kontynuowania kariery piłkarskiej. Reprezentował tam kluby: FC Schaffhausen (1989–1992), FC Winterthur (1992–1994) i FC Frauenfeld (1994–1995), gdzie zakończył piłkarską karierę.
Pracę trenerską rozpoczął jeszcze jako zawodnik, będąc m.in. grającym trenerem FC Frauenfeld. Od lipca 1995 był asystentem pierwszego trenera VfB Stuttgart Rolfa Fringera, którego zastąpił w sierpniu 1996, początkowo jako trener tymczasowy. Pozostał trenerem zespołu ze Stuttgartu do końca sezonu 1997/1998, zdobywając w 1997 Puchar Niemiec, a rok później doprowadzając drużynę do finału Pucharu Zdobywców Pucharów. Później był trenerem Fenerbahçe, Karlsruher SC, tureckiego Adanaspor, FC Tirol Innsbruck (mistrzostwo Austrii 2002), Austrii Wiedeń. W sierpniu 2004 został asystentem nowego selekcjonera reprezentacji Niemiec Jürgena Klinsmanna.
Po Mundialu 2006, na którym Niemcy zajęli 3. miejsce, Klinsmann złożył rezygnację, a niemiecka federacja mianowała jego następcą Joachima Löwa. Objął on funkcję 1 sierpnia 2006. Jego największym sukcesem trenerskim jest doprowadzenie reprezentacji Niemiec do złotego medalu na Mistrzostwach Świata w Brazylii w 2014 roku, srebrnego medalu Mistrzostw Europy w 2008 roku i brązowego Mistrzostw Świata w RPA 2010 wygraną z Urugwajem 3:2. Na Euro 2012 Niemcy wygrali grupę B pokonując Portugalię 1:0, Holandię 2:1 i Danię 2:1. W ćwierćfinale pokonali Greków 4:2. Faworyzowani Niemcy przegrali w półfinale z Włochami 1:2. Dwie bramki dla Włochów zdobył Mario Balotelli, a dla Niemców z rzutu karnego Mesut Özil. Na Mistrzostwach Świata w 2014 jego reprezentacja trafiła do grupy z Portugalią, Ghaną i USA. Niemcy zdobyli w grupie 7 punktów po zwycięstwach z Portugalią i USA (4:0 i 2:1) i remisie z Ghaną 2:2. W 1/8 finału pokonali po dogrywce Algierię 2:1, w ćwierćfinale ograli Francję 1:0. W półfinale rozgromili reprezentację Brazylii 7:1. W meczu finałowym reprezentacja Niemiec pokonała Argentynę 1:0 po dogrywce. Bramkę dla swojej drużyny w 113 minucie zdobył Mario Götze.
9 marca 2021 ogłosił, że po Euro 2020 zakończy pracę z reprezentacją[2].