Создан в ноябре 1923 года по инициативе выдающегося дагестанского общественного и политического деятеля Алибека Тахо-Годи (1892—1937) и открыт в 1925 году. Возглавил музей Дмитрий Павлов.
Музей, который можно считать предшественником настоящего, организованный ещё в 1912 году стараниями Евгения Козубского на деньги Ивана Семёновича Костемеревского в губернаторском доме в Темирхан-шуре, в годы революции был переведён в Махачкалу, частично разграблен и прекратил своё существование.
Музейные коллекции собирались Тахо-Годи заново из запасников музеев Москвы и Петрограда. Удалось получить произведения фарфора, скульптуры, западноевропейского XVI—XIX веков и русского искусства XIX-начала XX веков, в том числе почти полную коллекцию князя А. И. Барятинского, несколько подлинных работ Т. Горшельта. Из Кавказского военно-исторического музея «Храм Славы» в г. Тбилиси поступили живописные полотна Ф. А. Рубо «Ахульго», «Штурм аула Гимры», Н. Е. Сверчкова «Портрет Шамиля»[2], Ф. И. Байкова «Переход горцев через реку» и другие произведения.
В 1958 году на базе картиной галереи музея был создан Дагестанский художественный музей. Музей занимал помещения на улице Ленина, площади Ленина.
В 1958 году , Дмитрий И. Павлов, директор музея, передал в дар Дагестанскому художественному музею, альбом рисунков Г. Г. Гагарина и 18 литографий с изображениями сцен из жизни Шамиля и его семьи.
В 1977 году музеи в исторических центрах республики (Ахты, Кизляр, Гуниб и Хунзах) были объединены в единый Дагестанский государственный историко-архитектурный музей.
С 2013 года музей разместился в историческом особняке — «Дом Барятинского»[3] — на улице Даниялова.