Mustaine'ist sai kitarrist 1970. aastate lõpus. Ta mängis mitmes vähem tuntud bändis, kuni 1981. aasta lõpus kutsusid James Hetfield ja Lars Ulrich ta Metallica juhtkitarristiks. Metallicas oli Mustaine aga vaid kuni 1983. aasta aprillini, sealt sunniti ta lahkuma liigse alkoholitarbimise, uimastiprobleemide ja isiklike vastuolude tõttu.
Mõni aeg hiljem otsustas Mustaine koos bassimängija Dave Ellefsoniga teha bändi, mis sai nimeks Megadeth. Mustaine'i esialgne eesmärk oli saada oma bändiga Metallicast edukamaks ja kuigi see müügiedu mõttes kunagi ei teostunud, sai Megadethist üks tuntumaid thrash metal'i bände, keda loetakse thrash'i "suure neliku" hulka kuuluvaks (lisaks Megadethile ja Metallicale kuuluvad sinna veel Slayer ja Anthrax).
Et Mustaine Megadethile sobivat lauljat ei leidnud, siis hakkas ta ise laulma.
2002. aastal kahjustas Mustaine rängalt oma vasaku käe närve ja pidi seetõttu Megadethi kaheks aastaks laiali saatma. Esialgu ei saanud ta kitarri mängida, kuid aastase intensiivse ravi järel osutus see võimalikuks. 2004. aastal kutsus ta bändi uuesti kokku ning sellest ajast peale on Megadeth lisaks varasemale üheksale andnud välja veel kolm stuudioalbumit.
