Weitere Hinweise auf die mittelalterliche Bebauung sind in nur noch im heutigen Vorburgbereich auszumachen. Neben möglichen mittelalterlichen Kellerräumen ist der bergfriedartige Hexenturm das am besten erhaltene Bauwerk der hochmittelalterlichen Anlage. Nach aktuellen bauhistorischen Untersuchungen dürfte sein unterer, bis zum Absatz in 12 Meter Höhe reichender Teil wohl um 1170 entstanden sein, der obere Bereich mit einem Kuppelgewölbe vielleicht in den 1240er Jahren. Das zweite Obergeschoss war gewölbt, heizbar und mit einer heute vermauerten Fensterarkade versehen. Von einem späteren Ausbau zeugen die Rundbogenfriese. Der Zugang lag ursprünglich 8 Meter hoch. Eine eindeutig jüngere Zutat aus der Zeit wohl um 1500 ist der schlanke Turmaufsatz (Butterfassturm). Die Position des teilweise wohnlich eingerichteten Bergfrieds in der Vorburg ist zwar ungewöhnlich, aber er nimmt immerhin die höchste Stelle der Felsrippe ein und dürfte den Zugang zur Hauptburg mit gesichert haben. 

Über die bauliche Gestalt der renaissancezeitlichen Schlossanlage ist man durch nachmittelalterliche Bildquellen, insbesondere die Ansicht in der Hessischen Chronik von Wilhelm Dilich von 1605, gut informiert.
Zur Stadtseite zeigt Dilich das 1497 erbaute Burgtor der kompakten dreiflügeligen Anlage mit zwei Ecktürmen zur vom Tor abgewandten Seite. Der zweigeschossige Ostflügel zeigt ein Fachwerkobergeschoss. 
Nach weitgehendem Abbruch der älteren Anlage wurde im zweiten Jahrzehnt des 17. Jahrhunderts ein neuer Schlossbau begonnen. Dabei handelt es sich um einen dreiflügeligen Baukörper, dessen Flügel sich um einen nach Westen geöffneten Hof gruppieren. In der Nordostecke befindet sich ein heute kaum mehr in Erscheinung tretender quadratischer Treppenturm mit Satteldach. Die ursprünglichen Satteldächer mit Zwerchhäusern wurden im 18. Jahrhundert teilweise durch Mansarddächer ersetzt. Die Fassade zeichnet sich z. T. durch große Kreuzstockfenster aus. Die Mitte der südlichen Hauptfront ziert ein rechteckiger Erkervorbau, der über dem Hauptgesims turmartig in einem hohen Haubenhelm endet. Unmittelbar daneben ist das Hauptportal platziert, das Rustikaquaderung und ein großes Allianzwappen des Grafen Johann von Nassau-Idstein und seiner Gattin (um 1635) aufweist.
Im Nordflügel befindet sich ein großer zweischiffiger Saal von fünf Jochen auf Rundpfeilern. Am Westende des Südflügels liegt die ehemalige Kapelle (1717-1718). Zahlreiche Räume weisen noch barocke Stuckdecken auf.