An der Stelle einer ehemaligen Feste, die 1545 erstmals erwähnt wurde, errichtete Nikolaus d. Ä. von Bubna (Adelsgeschlecht) und Lititz (Mikuláš z Bubna) 1585–1590 ein vierflügeliges Renaissanceschloss mit einem Innenhof. Nach 1650 wurde das Schloss mit Fresken im Stil des Barock verziert und 1700 die Schlosskapelle errichtet, die der Heiligen Familie geweiht wurde. Die Außenwände des Schlosses sind reich mit Sgraffito verziert.
Das Schloss wurde zunächst als Jagdschloss genutzt, da die Bubna bis Anfang des 19. Jahrhunderts in Senftenberg residierten. Im ersten Viertel des 19. Jahrhunderts residierte der Diplomat Ferdinand von Bubna und Littitz, der zeitweise Generalgouverneur von Piemont, Savoyen und Nizza war, auf Schloss Doudleby. Nach dem Zweiten Weltkrieg wurde die Familie Bubna enteignet. Nach der politischen Wende wurde das Schloss den Nachkommen der Familie von Bubna durch die Tschechische Republik restituiert.
