In 1582 keerde Arndt naar zijn geboortestreek terug. De landsheer Joachim Ernst von Anhalt droeg hem in 1583 het pastoraat van het dorp Badeborn op. De landsheer nam de formula concordiae van 1577 niet over, maar vaardigde in 1583 een aparte belijdenisformule af. In het jaar 1589 verlangde de erfgenaam van de vorst, de hertog Johann Georg, de afschaffing van het exorcisme bij de doop. Arndt wees dit af en weigerde zich aan deze belijdenis te onderwerpen. Op 10 september 1590 legde Arndt hierover een verklaring af. Een paar dagen later werd hem als gevolg daarvan het ambt ontnomen en werd hij van het landgoed verwijderd. Arndt vermoedde, terecht, dat deze belijdenis alleen maar het eerste begin zou zijn van de overgang van het Hertogdom Anhalt naar het calvinisme en in 1596 gebeurde dat dan ook. In 1599 werd Arndt predikant te Quedlinburg, waar hij tot 1609 bleef. Daarna werkte hij in Braunschweig (tot 1611), in Eisleben en tot 1621 als Superintendent in Celle.
Arndt was onder andere beïnvloed door de mystiek en middeleeuwse geschriften zoals de Theologia deutsch, Thomas a Kempis en Johannes Tauler. Van deze werken en anderen compileerde hij de Vier Boeken van het ware Christendom, die met zijn Paradies-Gärtlein tot de meest succesvolle christelijke boeken te rekenen zijn.
De veelvuldige geestelijke impulsen die Arndt gaf, resulteerde in veel tegenspraak van Andreas Osiander, maar resulteerde uiteindelijk in het Duitse Piëtisme.
Arndt werd door de Duitse piëtisten zeer hoog gehouden. De grondlegger van het piëtisme, Philipp Jakob Spener, vestigde herhaaldelijk de aandacht op hem en zijn geschriften en ging zelfs zover dat hij hem met Plato vergeleek. De invloed van Arndt op het vroege piëtisme was zo belangrijk dat sommige geleerden hem zelfs de ware grondlegger van de beweging noemden.
