Геологический музей был открыт в конце 1938 года на базе геологической выставки, специально организованной в июне 1937 года к 17 сессии Международного геологического конгресса (Москва, СССР. Экскурсии по всей стране)[3]. Музей был создан при Институте геологических наук АН Армянской ССР (современный Институт геологических наук НАН РА).
Основу музея составила личная коллекция директора института О. Т. Карапетяна[арм.], которую он собирал 40 лет. Коллекция в основном состояла из 1400 образцов, собранных на территории Закавказья и Малого Кавказа. После его смерти, в 1944 году, музей был назван его именем — «Геологический музей им. проф. О. Т. Карапетяна»[4].
Коллекции пополнялся образцами исследуемыми в институте, обменом и дарителями. Значительный вклад в развитие музея внесли его руководители: С. Лусян (1937—1938), А. Н. Акопян (1938), С. Т. Тигранян (1938—1949), Н. А. Саакян-Гозалян (1949—1954), И. Г. Гаспарян (1955—1956), Л. А. Авакян (1956—1976), Г. Б. Межлумян (1977—1996), А. Г. Григорян (1996—2011). Имеются экспонаты из коллекций академика А. Л. Тахтаджяна, учёных Р. Аракеляна, Н. Азаряна, Г. Межлумяна и других.
В 2012 году был открыт зал минералов имени А. Ц. Дилдиляна, где демонстрируются образцы со всего мира переданные в музей семьёй Ары Дилдиляна[5][6].
Первоначально музей располагался в другом здании (улица Абовяна, 10). 16 сентября 2012 года он вновь открылся в здании Института геологических наук по адресу Проспект Маршала Баграмяна (Ереван), дом 24 A[7].
В музее ежегодно отмечаются «день геолога», «день воды», «день защиты детей», проводятся мероприятия, посвященные памяти известных геологов и событий, среди них:
2013 — 100-летие со дня рождения А. Е. Кочаряна — директора Геологического института (в 1967—1971 гг)[8].