Stavba kostela začíná na nezvyklém místě bývalého městského příkopu. I v tamních dobách docházelo ke změnám stavby v průběhu její výstavby, což lze doložit žádostí o povolení Lorety při kapucínském chrámu z roku 1657, jejíž stavbu odsouhlasila i městská rada, nebo povolením zřízení Božího hrobu s odznaky umučení Páně pod kostelem z roku 1662. Základní kámen kláštera byl položen až roku 1662, což lze vysvětlit různým výškovým založením kostela a kláštera. Celá stavba konventu pak byla dokončena roku 1665, kdy byl vysvěcen chrám, jeho hlavní oltář a loretánská kaple s oltářem. Dne 25. 7. 1665 byl za účasti královéhradeckého biskupa Matouše Sobka z Bílenberku slavnostně vztyčen hlavní oboustranný oltář „ke cti Boha Všemohoucího, Panny Marie a sv. Josefa Pěstouna“. Roku 1669 byla pod kostelem vybudována krypta, která byla roku 1718 rozšířena a byla využívána k pohřbům až do roku 1785, kdy proběhl poslední pohřeb již v rozporu s císařským ediktem zákazu pohřbívání v hrobkách z roku 1784. PapežKliment XI. (Klement XI.) udělil roku 1711 sedmiletou milost všem věřícím, kteří navštívili kryptu tohoto kostela.
Roku 1941 proběhlo statické zajištění loretánské kaple dle postupu stanoveného státním technikem. Od roku 1970 se uvažuje se zbořením lorety a Božího hrobu, což je opakováno i v záměru oprav z roku 1973. Ke kompletní demolici této části nedochází, ale nedochází ani k realizaci některých staticky zajišťovacích prací, které využívají moderních materiálů, jako beton a ocelovénosníky. Roku 1979 je vybourána vestavba v Loretě. Roku 1985 proběhla statická oprava krovu, která však nebyla dokončena. Roku 1987 dochází mj. k vybourání schodiště z lodi do suterénu a v klenbě suterénu byl zřízen manipulační otvor pro dopravu suti. V letech 1990 a 1991 došlo k zajištění trhlin v obvodových stěnách.
Po rekonstrukci, před instalací soch a interiérů
V roce 2005 byl radou města Chrudim schválen koncept využití, který počítal s přestavbou na muzeum barokních soch s dalším využitím pro koncerty, divadlo, svatby a společenská setkání. V roce 2006 byl zpracován první stupeň dokumentace Rekonstrukce kostela sv. Josefa na muzeum barokních soch. Celková rekonstrukce a přestavba byla včetně interiérů realizována od ledna 2009 do srpna 2011. Dle návrhu firmy Projektil architekti s.r.o. pod vedením Romana Brychty a Ondřeje Hofmaistera rekonstrukci zrealizovala firma První stavební Chrudim, a.s. Součástí expozice je i promítání filmu natočenému speciálně pro toto muzeum, s názvem Kamenný příběh. Film natočila Filmová akademie Miroslava Ondříčka v Písku, pod vedením režiséra Jana Vejnara.