Дворец был задуман в качестве новой резиденции художественно одарённого короля. Поселившись в этом здании, племянник и наследник бездетного Фридриха II стремился отдалиться как пространственно, так и архитектурно от своего не слишком любимого дяди, предпочитавшего барокко и рококо.
Построенный из красного кирпича Мраморный дворец представляет собой двухэтажное здание в форме квадрата. Крышу дворца венчает ротонда, с которой открывается великолепный вид на окрестности, в том числе на остров Пфауэнинзель, который украсил специально возведённый дворец Пфауэнинзель. Своё название дворец получил по силезскому серому и белому мрамору, украсившему фасад здания.
От террасы, расположенной со стороны озера, к воде ведут боковые лестницы, где располагался лодочный причал. Король с удовольствием катался на лодке. По воде отсюда можно было добраться до берлинского дворца Шарлоттенбург.
На берегу также располагалось здание дворцовой кухни, построенное Ланггансом в 1788—1790 годах в форме храмовых развалин. Подземный ход соединял её с Гротовым залом на первом этаже, который служил в летние месяцы столовой.
Уже через несколько лет дворец оказался мал. В 1797 году, в год смерти Фридриха Вильгельма II по проекту Михаэля Филиппа Боумана началось возведение боковых флигелей. Одноэтажные прямоугольные здания слева и справа зодчий соединил с дворцом галереями, колонны которых были сделаны из мрамора фридерицианскойколоннады в парке Сан-Суси. При сыне и преемнике короля Фридрихе Вильгельме III строительство флигелей было приостановлено. В этом состоянии дворец увидел и принц Вильгельм, будущий кайзер Вильгельм I, когда был вынужден переселиться сюда на некоторое время в ожидании окончания строительства дворца Бабельсберг. Его брат, «романтик на троне» Фридрих Вильгельм IV поручил архитектору Людвигу Фердинанду Гессе внутреннюю отделку флигелей.
В 1881—1888 годах в Мраморном дворце проживал с семьёй принц Вильгельм, будущий кайзер Вильгельм II. Последними обитателями Мраморного дворца королевских кровей стали в 1904 годукронпринц Вильгельм, старший сын кайзера Вильгельма II и его супруга Цецилия. В 1917 году они переехали в специально построенный для них близлежащий дворец Цецилиенхоф.
В конце Второй мировой войны дворец был сильно разрушен упавшей на северный флигель бомбой и разорвавшейся в основном здании гранатой. В 1946 году советская администрация открыла во дворце дом офицеров.
В 1961 году в здании открылся Немецкий армейский музей, в экспозиции которого была представлена военная техника, военная форма и исторические документы. Во дворе до 1989 года размещались пушки, танк Т-34, торпедный катер, истребитель МиГ и ракета.
Wilma Otte: Das Marmorpalais, ein Refugium am Heiligen See. Stiftung Preußische Schlösser und Gärten Berlin-Brandenburg. Prestel, München-Berlin-London-New York 2003. ISBN 3-7913-2896-4
Das Marmorpalais. Amtlicher Führer der Stiftung Preußische Schlösser und Gärten Berlin-Brandenburg. Potsdam 1998.
Das Marmorpalais. in: Bauten und Bildwerke im Park Sanssouci, amtlicher Führer der Stiftung Preußische Schlösser und Gärten Berlin-Brandenburg. Potsdam 2000, 2002 (2. Aufl.).
Gert Streidt, Klaus Frahm: Potsdam. Die Schlösser und Gärten der Hohenzollern. Könemann, Köln 1996. ISBN 3-89508-238-4
Hermann Schmitz: Das Marmorpalais bei Potsdam und das Schlösschen auf der Pfaueninsel. Verlag für Kunstwissenschaft, Berlin 1921.