Dunn aloitti basson soiton jo teini-ikäisenä high schoolissa. Hän oli perustamassa ystäviensä Mike Pattonin ja Trey Spruancen kanssa Mr. Bunglea, jonka musiikki oli aluksi jonkinlaista thrash metalin, hard rockin ja funkin sekoitusta. Jotkut kappaleet olivat hieman humoristisia, joten musiikkia saattoi jopa kutsua huumorirockiksi. Muun yhtyeen soittaessa hieman raskaampaa musiikkia Dunn kokeili taitojaan kierrelen ympäri San Franciscoa soittaen jazzia. Dunn kuitenkin pysyi koko ajan Mr. Bunglen riveissä. Dunnin erilainen musiikkisuuntaus toi Bungleen sen jopa tavaramerkiksi muodostuneen tyylilajien erilaisuuden, jopa yksittäisten kappaleiden aikana. Tämä ilmenee erityisesti levyllä Disco Volante.
Mr. Bunglen jälkeen
Yhtyeen muiden jäsenten tapaan Dunn on haluton puhumaan siitä, mitä tapahtui Mr. Bunglen hajotessa vuonna 2000. Hän on toisaalta suunnitellut kirjoittavansa yhtyeestä kirjan, mutta sen julkaisusta ei ole tietoa.