A banda foi formada logo após Brian Viglione testemunhar uma apresentação de Amanda Palmer em uma festa de Halloween. Suas apresentações dramáticas, no qual os membros maquilavam-se e vestiam vestimentas de cabaré, logo ganhou fãs.
A banda apresentou-se em 2002 no Prêmio IgNobel em Cambridge, Massachusetts. Após uma demo produzida pelos próprios integrantes, seu primeiro lançamento oficial foi um álbum contendo em sua maioria compilações de apresentações, A is for Accident. Foi seguido pelo álbum homônimo produzido por Martin Bisi (que já havia trabalhado com o Sonic Youth).
Em março de 2005 a banda participou da turnê do Nine Inch Nails, e em junho apresentaram um concerto gratuito no Paradise Rock Club, em Boston. Devido a uma queda de luz inesperada que adiou sua apresentação, as ruas da cidade tornaram-se temporariamente palco de alguns artistas de rua. O evento inteiro foi filmado, resultando no DVD Paradise, lançado em 22 de novembro.[1]
De acordo com Palmer, o nome (que significa As Bonecas de Dresden em inglês) foi "inspirado por uma combinação de coisas", incluindo o Bombardeio de Dresden; as bonecas de porcelana que eram uma marca da indústria pré-guerra de Dresden; uma canção de mesmo nome da banda The Fall; e uma referência às personagens do romance "O Jardim dos Esquecidos" ("Flowers in the Attic") da autora americana Virginia C. Andrews, além de evocar a Alemanha da República de Weimar e sua cultura cabaré. Acrescenta ainda que ela gostou do paralelo entre Dresden (destruição) e bonecas (inocência, delicadeza), porque tem muito a ver com a dinâmica da música, que às vezes vai de um sussurro infantil a um grito de bruxa em segundos.
