Museo perustettiin alun perin vuonna 1798 HaagiinHuis ten Boschiin, ja se avasi ovensa yleisölle vuonna 1800, jolloin se toimi hollantilaisten käskynhaltijoiden kokoelmien näyttelynä. Silloin se tunnettiin nimellä Nationale Kunst-Gallerij (suom.Kansallinen taidegalleria). Vuonna 1808 museo muutti Amsterdamiin kuningas Louis Napoleonin (Napoleon Bonaparten veli) käskystä. Kaupungin omistamat teokset, kuten RembrandtinYövartio (holl.De nachtwacht), tulivat osaksi kokoelmaa.
Vuonna 1885 museo muutti nykyiselle paikalle. Rakennuksen suunnitteli hollantilainen arkkitehti Pierre Cuypers, joka yhdisti työssään gotiikan ja renessanssin elementtejä. Museo sijaitsee hallitsevalla paikalla Museumpleinillä, lähellä Van Gogh Museumia ja Stedelijk Museumia. Rakennus on koristeltu hollantilaista taidehistoriaa mukaillen. Rembrandtin Yövartiolla on ollut oma salinsa museossa vuodesta 1906 lähtien. Vuonna 2003 museossa aloitettiin laajamittaiset peruskorjaustyöt ja restauroinnit, jotka kestivät vuoteen 2013 asti.[3]