1 липня 1907 року поступив на військову службу в 40-й Альтмаркський полк польової артилерії. З 19 листопада 1908 року на штабних посадах. Учасник Першої світової війни, почав службу на Західному фронті ад'ютантом 2-го батальйону свого полку.
У міжвоєнні роки Лемельзен продовжив службу в рейхсвері, а потім в вермахті. З квітня 1934 року — офіцер полку легкої артилерії, з 1935 року — викладач піхотної артилерії. З березня 1938 року — командир 29-ї піхотної дивізії.
Учасник Польської кампанії. 8 вересня 1939 року його дивізія розстріляла близько 300 польських військовополонених в Цепелуві. 28 травня 1940 року очолив 5-у танкову дивізію, з якою брав участь у Французькій кампанії, в тому числі і в боях за Дюнкерк. З 25 листопада 1940 року — командир 47-го моторизованого корпусу (туди входили 17-а і 18-а танкові дивізії, а також 29-а піхотна дивізія), який був перекинутий в травні-червні 1941 року на кордон з СРСР.
Після початку німецько-радянської війни 22 червня 1941 генерал Лемельзен очолював 47-й моторизований корпус в боях за Смоленськ і за Київ. Він став свідком масових розправ над радянськими військовополоненими, вчиненими нібито згідно з наказами про комісарів і про застосування військової підсудності на Східному фронті, що викликало у нього відразу. У звіті для ОКГ він зажадав припинити розправи над військовополоненими, посилаючись на те, що це озлобить радянських солдатів і цивільне населення і призведе до ще більших втрат серед німецьких солдатів: «Всупереч моїм наказам [...] постійно відбуваються неодноразові розстріли військовополонених, перебіжчиків і дезертирів, які відбуваються безвідповідальним, безглуздим і злочинним чином. Це вбивство! [...] Наказ фюрера означає нещадну боротьбу проти більшовизму (політичних комісарів) і всіх партизан! Бездоганні люди, які поводяться належним чином, повинні проводити розстріли тільки відповідно до наказів офіцера про розстріл. [...] Однак російський солдат, який зустрівся на полі бою і добре бився, не є партизаном, а тим, хто заслуговує право на честь, хороше лікування і догляд у разі поранення. [...] Саме через брехню про розстріл військовополонених противник постійно тримає своїх солдатів поруч [...] Обидва суворі заходи — боротьба проти партизан і озброєних цивільних осіб, а також запропоноване гарне поводження з полоненими і дезертирами врятують німецьку армію від кровопролиття.»
Лемельзен виділив чітку лінію між поводженням з комісарами і партизанами з одного боку і з полоненими червоноармійцями з іншого боку, що історик Омер Бартов визнав не тільки прагматичним поглядом, а й свідченням того, що Лемельзен вже не підтримував суміш ідеології і нещадності, характерну для нацизму. Підлеглі йому командири діяли по-різному: якщо генерал-лейтенант Ганс-Юрген фон Арнім з 17-ї танкової дивізії не виконував «наказ про комісарів», то Вальтер Нерінг з 18-ї танкової дивізії, вже готової до війни, розправлявся однаково жорстоко і з комісарами, і з пораненими військовополоненими.
21 червня 1942 року 47-й моторизований корпус був перетворений в танковий. Поки моторизовані частини билися в складі групи армій «Південь», піхотна частина корпусу вела боротьбу проти партизан: так, влітку було проведено каральну операцію «Пісня птаха» проти партизан в Брянській області. За 4 тижні в боях проти 47-го танкового корпусу були вбиті 1582 партизана, 519 потрапили в полон; ще 3249 чоловік були арештовані, а 12531 вигнані зі своїх домів. Німці втратили 58 чоловік убитими і 130 пораненими. Дізнавшись про результати операції, генерал-полковник Рудольф Шмідт, який командував 2-ю танковою армією, відчув необхідність вжити заходів щодо посилення контрпартизанських війни, але при цьому намагався слідувати «вказівкам» Лемельзена, даними роком раніше: «Війна проти партизан вимагає нещадної твердості там, де вона потрібна. Однак я очікую, що війська розуміють різницю між партизанами і проживають в зоні діяльності партизан громадянами, які можуть піддатися терору. [...] Навіть в партизанській війні ми залишаємося солдатами і не ведемо боротьбу проти жінок і дітей.»
Однак в травні-червні 1943 року Лемельзен провів ще одну велику операцію під кодовою назвою «Циганський барон». Було вбито 1584 партизана, 1568 чоловік потрапили в полон, 15812 мирних жителів були вигнані зі своїх будинків. Влітку він брав участь в боях на Курській дузі. Деякий час виконував обов'язки командувача 10-ю армією в Італії (протягом 2 місяців, до грудня 1943 року). На початку 1944 року направлений в резерв, у травні того ж року очолив 1-у армію у Франції на Атлантичному узбережжі. 7 червня 1944 року Лемельзена перекинули в Італію, щоб той прийняв командування 14-ю армією замість Ебергарда фон Маккензена, якого змістив генерал-фельдмаршал Альберт Кессельрінг. Лемельзен командував 14-ю армією до жовтня, поки не був призначений командиром 10-ї армії. У лютому 1945 року він знову очолив 14-у армію, поки не потрапив в полон до британців 6 травня.
Після війни Йоахім Лемельзен був свідком на судовому процесі над Альбертом Кессельрінгом, який був організований британськими військами в Венеції: Кессельрінга звинувачували в безлічі злочинів проти цивільних осіб. 10 квітня 1948 року Лемельзен був звільнений.
Berger, Florian (2000). Mit Eichenlaub und Schwertern. Die höchstdekorierten Soldaten des Zweiten Weltkrieges. Selbstverlag Florian Berger. ISBN 3-9501307-0-5.(нім.)
Walther-Peer Fellgiebel (2000). Die Träger des Ritterkreuzes des Eisernen Kreuzes 1939—1945. Friedburg, Germany: Podzun-Pallas. ISBN 3-7909-0284-5.(нім.)
Schaulen, Fritjof (2003). Eichenlaubträger 1940—1945 Zeitgeschichte in Farbe I Abraham — Huppertz. Selent, Germany: Pour le Mérite. ISBN 3-932381-20-3.(нім.)
Scherzer, Veit (2007). Ritterkreuzträger 1939—1945 Die Inhaber des Ritterkreuzes des Eisernen Kreuzes 1939 von Heer, Luftwaffe, Kriegsmarine, Waffen-SS, Volkssturm sowie mit Deutschland verbündeter Streitkräfte nach den Unterlagen des Bundesarchives. Jena, Germany: Scherzers Miltaer-Verlag. ISBN 978-3-938845-17-2.(нім.)
Die Wehrmachtberichte 1939—1945 Band 3, 1. Januar 1944 bis 9. Mai 1945. München: Deutscher Taschenbuch Verlag GmbH & Co. KG, 1985. ISBN 3-423-05944-3.(нім.)