Defregger sündis Ida-Tiroolis jõuka talumehe pojana. 1860, pärast isa surma, müüs ta talu maha ja maksis oma õdedele nende pärandussumma välja. Algul plaanis ta kolida USA-sse, kuid sellest ei tulnud midagi välja.
Defreggerist sai üks juhtivaid Müncheni žanrimaalijaid. 1878–1910 oli ta Müncheni Kunstiakadeemia ajaloomaaliprofessor. 1906 esines ta Berliinis saksa kunsti 100. aastapäeva tähistaval ülevaatenäitusel.
Ta maalis meeleldi portreid, talupoegade eluolu ja dramaatilisi stseene Tirooli vabadusvõitlusest 1809. aastal.
Aastal 1883 tõsteti ta aadliseisusse ja tema nime ette lisandus sõna "von".
Defregger suri 85-aastaselt ja maeti Münchenisse Nordfriedhofi kalmistule.