Der Zeitpunkt der Gründung der Burganlage ist unklar. Er erfolgte angeblich durch einen Adeligen namens Gerhart, der als Stammvater der Herren von Gerhartstein (Geroldstein) gilt. Im Lehnsbuch und Güterverzeichnis des Rheingrafen Wolfram vom Stein wird das Geschlecht 1215 mit Kuno von Gerhartstein erstmals sicher erwähnt.
Im Jahre 1321 wurde die Burg den Grafen von Katzenelnbogen als Lehen aufgetragen. Von diesen wurde sie bis zum Übergang an Hessen, zuletzt 1476, immer wieder an die Familie Gerhartstein verlehnt.
1479 gelangte Geroldstein mit dem katzenelnbogischen Erbe an die Landgrafen von Hessen. 1569 starb der letzte Angehörige des Hauses Geroldstein. Seine Witwe schloss noch im selben Jahr einen Abfindungsvertrag mit Hessen, und der Landgraf verlehnte die Burg ebenfalls noch 1569 an seinen Ratsherrn Nordeck.
1718 kam sie an Franz Moyses von Brenner, der den Namen von Geroldstein annahm. 
Wann die Burg aufgegeben wurde, wird unterschiedlich beurteilt. Der Zeitpunkt schwankt zwischen 1551 und 1621. Im Jahre 1589 wurde unterhalb der Burg eine Schmiede errichtet und die Wisperschleife durchstochen.