Il nucleo originario del museo risale alle collezioni di William Thompson Walters (1819-1894), residente a Parigi dallo scoppio della guerra civile americana, e Henry Walters (1848–1931), che completò la collezione e la sistemò in un palazzo appositamente costruito in Charles Street, aperto al pubblico nel 1909. Alla morte di Henry Walters il museo con i suoi 22.000 pezzi e l'edificio che lo ospitava vennero donati alla città di Baltimora "a beneficio della comunità".
Nel 2000 il museo cambiò nome per riflettere meglio la sua vocazione di istituzione pubblica, l'anno successivo il museo venne riaperto in una sede ampliata al termine di tre anni di lavori di ammodernamento e ristrutturazione.
