Das Rittergut und das Schloss sind durch eine umfangreiche Geschichte geprägt. Um das Jahr 1350 war hier bereits ein Herrensitz, der 1446 als Vorwerk erwähnt wurde. Dieser Herrensitz gehörte zunächst Volczsch von Turgow, ab 1460 war Heinrich von Starschedel der Eigentümer. Als nächste Eigentümer sind Nickel von Köckritz ab 1472 und danach die Herren von Schönburg bis 1543 bekannt. Danach ging das Bauwerk im Tausch gegen die Wechselburg an den Kurfürsten Moritz. Im Jahr 1547 wird Dittersbach als Rittergut erwähnt. Der Kurfürst behielt das Rittergut etwa zehn Jahre in seinem Besitz und tauschte es danach mit Hieronymus Kiesewetter, der das heutige Schloss in den Grundzügen erbaute. Das Schloss war damals noch von einem Wassergraben umgeben und geht auf eine mittelalterliche Wasserburg zurück, welche mit dem Schloss vollständig überbaut wurde.
Rittergut/Schloss
Bis zum Jahr 1829 wechselte das Schloss Dittersbach des Öfteren den Besitzer, es blieb jedoch immer nur für kurze Zeit im Besitz des jeweiligen Käufers. Im Jahr 1829 kaufte Johann Gottlob von Quandt das Schloss und ließ es im folgenden Jahr umbauen, weiterhin wurde das Torhaus neu erbaut und ein weitläufiger Landschaftspark angelegt.