Schon im Jahre 1112 erfahren wir vom Ende der Burg, da Siegfried von Ballenstedt, der Adoptivsohn des 1095 verstorbenen Pfalzgrafen Heinrich, die Burg (castellum) in diesem Jahr niederlegen ließ. Der Hintergrund war, dass die Abtei durch den Abbruch der Burg vor Eingriffen seitens des Burgherrn, des Pfalzgrafen, absolut sicher sein wollte. Die Zustimmung des Pfalzgrafen erfolgte vor dem Hintergrund, dass er unweit des Laacher Sees mit der über dem Vinxtbach am Rhein gelegenen Burg Rheineck eine weitere wichtige und verkehrstechnisch besser gelegene Burg besaß.