Njegovi korijeni su u Muzeju oružja kremlja koji je Aleksandar I., ruski car, osnovao u Palači oružja (neorenesansna oružarnica iz 1851. godine) 1806. godine, a u kojemu je danas Muzej ruskog državnog znakovlja i dijamanata („Fundacija dijamanata”).
Nakon revolucije iz 1917. godine, Muzej je nazvan „Državni muzej dekorativnih umjetnosti i komora oružarnice”. Osim oružarnice, muzejski kompleks uključivao je i katedrale Kremlja i Bojarsku kuću iz 17. stoljeća.[2] God. 1924., stvoren je „Ujedinjeni muzej dekorativnih umjetnosti”, a 1933. god. muzej je prebačen na upravljanje Državnom povijesnom muzeju.
Trenutačni oblik muzej je dobio 1991. god., a ravnateljica muzeja (od 2001.) je Elena Gagarina, kći kozmonautaJurija Gagarina.
Muzej je 2018. godine bio na 18. mjestu među najposjećenijim muzejima na svijetu, a svake godine ga posjeti oko 2,86 milijuna ljudi.[3]
Muzej moskovskog kremlja se sastoji od više građevina u kremlju[4]: