El museu es trobava en edifici d'un estil renaixentista italià dissenyat per Richard Morris Hunt. El 1925, l'edifici va ser reemplaçat per un altre a Quincy Street, dissenyat per Coolidge, Shepley, Bulfinch, i Abbott. El 2008, l'edifici va ser tancat per un gran projecte de renovació per crear un nou edifici del museu dissenyat per l'arquitecte Renzo Piano, que intenta ajuntar els tres museus d'Art de Harvard en una mateixa instal·lació. Durant la renovació, les obres seleccionades dels tres museus es troben en exhibició al Museu Arthur M. Sackler.[2]
