Burg Nassau wurde nicht nur für den Ort namengebend, sondern auch für ein mächtiges Adelsgeschlecht. Der spätere Burgberg war seit 993 Eigentum des Wormser Hochstiftes, welches als Vögte die Herren von Laurenburg eingesetzt hatte. Hier überquerte eine von Mainz kommende alte Wegverbindung nach Koblenz den Fluss. Sie entsprach der heutigen „Bäderstraße“.
Wohl die ab 1124 bezeugten Brüder Ruppert I. und Arnold I., nach früherer Meinung vielleicht auch schon deren unmittelbare Vorfahren um 1101, errichteten dort Anfang des 12. Jahrhunderts auf Grund und Boden ihres Herrn eigenmächtig eine Burg, die trotz der Proteste des Wormser Stiftes nicht aufgegeben wurde. Erst 1159 wurde der Streit beigelegt, nachdem der Trierer Erzbischof Hillin den Burgberg eingetauscht hatte und anschließend die Laurenburger damit belehnte.
Sie durften ihre schon errichtete Burg behalten und nannten sich fortan Herren (später Grafen) von Nassau.

Die Baugeschichte der Burg erhellende historische Daten sind nicht bekannt.
Ein nahezu rechteckiger Mauerbering mit einer Längsachse von ca. 77 m umschließt die Bergkuppe und bildet den eigentlichen Burghof. An der schmalen Westseite steht leicht erhöht und in die Ringmauer eingepasst ein im Unterbau fünfeckiger, im heute aufgehenden Teil fast quadratischer Hauptturm. Möglicherweise stellt der Unterbau die Reste eines Turmes der Burg des 12. Jahrhunderts dar, zumal auch die Burg der Laurenburger Vorfahren einen fünfeckigen Hauptturm besitzt.