Der Bau der über dem Wörsbachtal gelegenen Burg wurde vermutlich 1393 durch Graf Walram II. von Nassau, Haupt der weilburgischen Linie, begonnen, nach dem sie auch benannt ist (Walraben = Walram).
Da er im noch im selben Jahr verstarb, führte sein Sohn Adolf den Bau zu Ende. Die Landesburg diente zur Territorialmarkierung und Sicherung der Nordgrenze gegen das ehemals diezische Camberg, wo nach dem Aussterben der Grafen von Diez die Herren von Eppstein Fuß fassten. Bereits im Jahre 1406, also bald nach ihrer Erbauung, wurde die Burg an die Herren von Reifenberg versetzt. Im Vorfeld der Burg entstand eine Talsiedlung, von der in den Schriftquellen erstmals 1473 anlässlich der Erwähnung einer Kapelle die Rede ist. 
1549 war die Burganlage wohl noch unter Dach. 1607 sollte die Burg dem ehemaligen Kellner des Klosters Walsdorf als Wohnsitz zugewiesen werden, was belegt, dass damals zumindest Teile noch bewohnbar waren.
Während des Dreißigjährigen Krieges kam es zu Beschädigungen. Zwar plante Graf Johann von Nassau noch einen Wiederaufbau, denn 1671 werden Fuhrdienste hierfür erwähnt, aber offenbar wurde die Anlage doch aufgegeben.  
1706 wurde die Burgruine an einen Einwohner des Ortes verkauft. Von 1820-1975 war die Burg im Besitz der Familie Roth.
Seit 1984 gehört sie den Familien Bartsch und Kelschenbach, die das alte Bauernhaus auf dem Burggelände bewohnen.