Sie liegt auf einem Felsen zwischen der Lahn und der Schaumburg um diese vom Fluss und somit der Verkehrsverbindung abzuschneiden.
Die Burg, die Balduins Namen trägt, muss in ihren Grundzügen rasch fertig gestellt worden sein, denn bereits 1321 kommt es zum Sühnevertrag zwischen Balduin und Reinhard von Westerburg, in welchem dieser zudem das mit Gewalt in Besitz genommene Baugelände an Balduin verkauft. Zugleich verleiht König Ludwig der Bayer der geplanten Siedlung unterhalb der Burg Stadtrechte.
1334 werden die Burg und die Amtmannschaft als Pfandlehen an den Ritter Dietrich von Staffel übertragen, der 1339 dem Erzbischof zusichert, die Burg auszubauen und unterhalb dieser eine befestigte Stadt anzulegen.

Die Stadtbefestigung wurde nach 1429 unter Wilhelm und Dietrich von Staffel weiter ausgebaut.

1553 ist noch einmal eine Instandsetzung der Anlage unter Philipp und Balthasar von Staffel belegt. Seit Mitte des 17. Jhs. war die Burg in einem schlechten Zustand, denn 1665 ersuchen die Brüder von Staffel, die verfallene Burg abbrechen zu dürfen, was trotz Genehmigung glücklicherweise bis auf kleine Abtragungen im 19. Jh. unterblieb.
Als die von Staffel 1683 ausstarben, wurde die Adelsfamilie von Reifenberg Besitznachfolger, ab 1754 die von Eltz-Rübenach.