Bereits um
1590 wurde eine Vorgängeranlage, wohl in Form eines herrschaftlichen Gutshauses, durch die Herren von Liebenstein errichtet, die nun – nach Aufgabe von
Burg Liebenstein – als neuer Hauptsitz der Herrschaft Osterspai-Liebenstein diente. Nach Aussterben der Liebensteiner kam die Herrschaft
1651 an die Freiherren von Waldenburg gen. Schenkern, die wohl in der 2. Hälfte des 17. Jhs. oder (nach Dehio) um 1700 die Anlage zu einem
barocken Jagd- und Sommerschlösschen ausbauten.