Die noch erhaltenen Reste der saynischen Burg wurden niedergerissen und bis 1773 der Neubau vollendet.
Der vornehme Bau in spätbarocken Formen wird dem Koblenzer Stadtbaumeister Nikolaus Lauxen zugeschrieben. An der Nordseite des Hauptgebäudes entstand 1897/98 ein Anbau mit polygonalem Abschluss, der im Obergeschoss die neugotische Hauskapelle aufnahm.
1872 war das Anwesen bereits aus bürgerlichem Besitz an den Orden der Schwestern der göttlichen Liebe übergegangen. Später diente das Haus d´Ester als Haushaltsschule und 1984 etablierte sich in dem Anwesen die Wissenschaftliche Hochschule für Unternehmensführung (Otto Beisheim School of Management WHU).