Палац почали будувати 1782 року за проектом французького архітектора Лакруа на замовлення представників родини Потоцьких. Спочатку Потоцькі проживали у так званому Старому палаці, побудованому 1757 р. Після переїзду на Правобережну Україну вони власне і розбудували свою резиденцію в Тульчині. Після Другого Поділу Речі Посполитої у 1793 році граф Станіслав Щенсний Потоцький, тодішній власник маєтку, перейшов на службу до російської імператриці Катерини ІІ і отримав ранг генерала-аншефа. Перехід на бік російської імператриці був зрадою щодо Польщі, але дозволяв зберегти всі маєтки магната в Україні.
Власник садиби, Станіслав Щенсний (в історіографії його ім'я також передається як Станіслав Фелікс Потоцький, Станіслав Фелікс Щенсний Потоцький, Фелікс Потоцький, Щенсний Потоцький тощо) був одним з найбагатших людей краю і мав 165 000 кріпаків (дослідження різних часів дають зміни у кількості залежного населення. В історіографії зустрічається і цифра, що Потоцькому належало 130 249 «ревізьких душ»).
У часи володарювання та господарювання Потоцьких це був розвинений ансамбль декількох споруд. Садиба магната мала:
садибний театр; мав репертуар, що складався з 5—7 опер та 2—3 концертів, а трупа налічувала до 200 акторів. Найближчий подібний аналог був лише в садибі Сапег — Ружани (нині Білорусь, суцільна руїна).
Парк на 10 гектарів з назвою «Хороше» (садівник англієць Міллер). У пейзажному парку, закладеному у 1780-ті роки, переважали сосни та італійські тополі. Була і своя мережа каналів і ставків. Галявини парку прикрашали альтанки, фонтани, скульптура.
Кількома підземними спорудами, тунелями палац Потоцьких з'єднувався з іншими об'єктами Тульчина. Підземелля залишилися з середньовіччя і використовувалися для схову від нападників, зокрема турків, а також графом Потоцьким у своїх цілях.
Старий палац
Старий палац — головне приміщення ансамблю, на 2 поверхи. Фасад палацу на парадний двір (курдонер) має відкриту лоджію в 10 колон іонійського ордеру. Будівля мала сполучення з бічними флігелями через заокруглені галереї, одна з яких (ліворуч) зруйнована до підмурків. Великий за розмірами ансамбль за поземним планом нагадував літеру П, відкриту на місто. Трохи краще збережений Флігель праворуч має наскрізну арку (подібна у флігеля ліворуч закладена.) Наскрізні арки прикрашені трикутними фронтонами, в тимпанах яких горельєфи з військовими атрибутами.
Первісне розпланування в палаці — анфіладою. Склепіння — пласкі. Палац мав стінописи доби класицизму (не збережені).
Раніше палац містяни полюбляли називати Тульчинським Версалем. В цьому місці проводили світські прийоми та масштабні бали.[2]
Сучасність
З 1975 р., за СРСР, офіційно оголошено про початок реставрації, яка так й не була завершена.
З 1984 р. у палаці розміщується Тульчинське училище культури, з факультетами підготовки:
2008 р. у палаці проходив міжрегіональний фестиваль народної творчості, образотворчого і гончарного мистецтва та хорових співів, присвячений М. Леонтовичу
З 2017 р. у палаці почали проводити фестиваль «OperaFest»