Arnd Schmitt trainde aan de Heidenheimer SB, verhuisde naar Bayer 04 Leverkusen via de Tauberbischofsheim Scherm Club voor zijn grootste successen. In 1985 won hij het Frankenland toernooi en ging met het degen team naar de Wereldkampioenschappen als Duits Junior Kampioen. Daar won hij zijn eerste wereldtitel. In 1986 werd hij opnieuw wereldkampioen bij de teams en in 1987 werd hij tweede. In 1987 won Schmitt voor de eerste keer het Duits individueel kampioenschap. Op de Olympische Spelen van 1988 in Seoel won hij goud in de individuele competitie door in de finale Philippe Riboud uit Frankrijk te verslaan. Met het team verloor Schmitt in de finale zes dagen later van de Fransen en kreeg zilver.
Op de wereldkampioenschappen van 1990 behaalde Schmitt de bronzen medaille in de individuele competitie en eindigde als vierde met het Duitse team. Een jaar later won de ploeg de bronzen medaille op de Wereldkampioenschappen Schermen van 1991. In 1991 won Schmitt ook voor de tweede keer de titel van Duits kampioen. Op de Olympische Spelen van 1992 werd Schmitt al vroeg in de individuele competitie uitgeschakeld en werd hij 29e. Met het team bereikte hij de finale, waarin het Duitse team de gouden medaille won tegen Hongarije.
Hiervoor ontvingen hij en het team op 23 april 1993 het Zilveren Laurierblad.
In 1993 werden de wereldkampioenschappen in Essen gehouden. Schmitt bereikte de finale in de individuele competitie, maar verloor van de Rus Pavel Kolobkov. Het Duitse team won de bronzen medaille in Essen. Een jaar later op de wereldkampioenschappen in Athene won Schmitt brons in de individuele competitie en zilver met het team. In 1994 won Schmitt zijn derde Duitse kampioenstitel, en op de Europese kampioenschappen pakte hij zilver in het individuele onderdeel. In 1995 werd hij individueel Europees kampioen. Op de wereldkampioenschappen van 1995, werd Schmitt negende in de individuele competitie. Met de ploeg won hij voor de derde keer de wereldtitel na 1985 en 1986. Op de Olympische Spelen van 1996 was Schmitt de vlaggendrager van de Duitse delegatie bij de openingsceremonie. Hij eindigde als tiende in het individuele onderdeel en het team miste nipt een medaille op de vierde plaats.
In 1997 werd Schmitt tweede met de ploeg op de Wereldkampioenschappen. Hij won de Duitse kampioenschappen degen enkelspel in achtereenvolgens 1997, 1998 en 1999. Op de Europese kampioenschappen van 1999 won hij brons met het team. De wereldkampioenschappen van 1999 vonden plaats in Seoel, waar Schmitt elf jaar eerder Olympisch kampioen in het enkelspel was geworden. En Schmitt won de individuele wedstrijd, met het team werd hij tweede. Op zijn vierde Olympische Spelen in Sydney in 2000, eindigde Schmitt als vijfde met de ploeg om zijn carrière af te sluiten.
Schmitt was gedurende zijn carrière vele jaren een woordvoerder voor atleten. In 1999 promoveerde hij aan de Universiteit van Keulen. In 2002 was hij lid van het Nationaal Olympisch Comité. Na het einde van zijn actieve sportcarrière is de tandarts onder meer lid van de raad van toezicht van de sportstichting NRW.
In juli 2016 werd Schmitt opgenomen in de Hall of Fame van de Duitse sport.
.svg){kind=small}
.svg){kind=small}
