1568-1574年,托斯卡纳大公弗朗切斯科一世·德·美第奇和他的同父异母兄弟安东尼奥·德·美第奇委托贝尔纳多·布翁塔伦蒂将宫殿重建为赌场、城市别墅, 因为它位于圣马可花园。格拉多·席尔瓦尼也可能在设计中发挥了作用。这座宫殿被规划为科学实验的实验室,1588年成为硬石工场艺术品修复研究所(Opificio delle Pietre Dure)的所在地。弗朗切斯科一世去世后,1587年,这座宫殿由安东尼奥继承,安东尼奥于1597年在这里居住,委托詹博洛尼亚的雕塑团队为众多的房间和花园创作了雕塑作品。