Ellefson je počeo svirati bas-gitaru zbog njene prisutnosti u rock glazbi. Vještinu pisanja pjesama stekao je u brojnim sastavima koje je vodio prije Megadetha.
Megadeth (1983. – 2002., 2010. - danas)
Osim pjevača, gitarista i glavnog tekstopisca Davea Mustainea, Ellefson je jedini stalni član Megadetha od njegova nastanka 1983. do raspada 2002. Da bi se dva Davea razlikovala, Mustaine je Ellefsona često nazivao Dave Junior,
ili, skraćeno, Junior. Ellefson je svirao na svakom albumu i turneji od 1985. i albuma
Killing Is My Business... And Business Is Good! do 2002. i albuma Rude Awakening.
Ellefson je na početku svirao prstima, ali je kasnije, kako je Megadeth napredovao u
glazbi koja je postajala složenija, počeo koristiti trzalicu. Također je
sudjelovao u pisanju brojnih pjesama.
Megadeth se raspao 2002. Dave Mustaine ga je ponovno okupio 2004., ali bez Ellefsona, a izbila je velika svađa. 8. veljače 2010. Ellefson je primio poruku od sadašnjeg bubnjara Megadetha, Shawna Drovera, u kojoj je pisalo da nazove Mustainea. To je i učinio te su njih dvojica sve izgladili shvatili da im nedostaje njihovo prijateljstvo. Nakon toga poziva objavljeno je da se Ellefson vraća u sastav. Na prvoj zajedničkoj probi izjavio je da se "osjeća kao da nikada nije otišao".
Svađa s Mustaineom
2004. Mustaine je ponovno okupio Megadeth radi snimanja albuma The System Has Failed.
Ellefson i Mustaine su imali nekoliko nesuglasica oko honorara i prava na Megadethovo ime i
opus, što je rezultiralo neuspješnom Ellefsonovom tužbom. Iako su nekada bili veliki
prijatelji, njihovo je sadašnje neprijateljstvo toliko naraslo da Megadeth nije bio spomenut
u Ellefsonovoj biografiji na njegovoj internetskoj stranici, samo u diskografiji.
Tijekom gostovanja na radiju sredinom 2005. Ellefson se nije spominjao svoju prošlost s
Megadethom, već se je koncentrirao na svoje tadašnje projekte.
Za Božić te godine Mustaine
je izjavio da je na večeri s Ellefsonom razgovarao o njihovim problemima, te da ih je to
dovelo u dobre odnose i da su poslije toga mnogo puta pričali na telefon.
Nakon Megadetha (2003. – 2010.)
Nakon raspada Megadetha 2002., Ellefson je osnovao sastav F5, čiji je prvi album, The Drug for All Seasons izdan 2005., a 2006. su svirali na Disturbedovoj turneji. Također je neko vrijeme svirao u power metal sastavu Avian.
Religija
Ellefson je, kao i Mustaine, kršćanin. Izjavio je da se je 90-ih, nakon što se riješio droge, vratio Bogu.