Nach Aussage der dendrochronologischen Daten wurde Burg Scharfenstein wohl zwischen 1160 und 1180 gegründet. Einen ersten Hinweis auf eine Burg gibt es 1191/95, als sich ein Mainzer Domherr nach der Burg ("Waltherus de Scharpenstein") benennt. Sicher existierte Burg Scharfenstein 1215, als sie erstmals urkundlich unter den Burgen des Mainzer Erzstifts unter Erzbischof Siegfried II. als „apud castellum nostrum Scharpenstein“ aufgeführt wird. Im 13. Jahrhundert mehrfach erzbischöfliche Residenz, wurde die Burganlage zwischen 1302-1309 an König Albrecht ausgeliefert, der Gottfried von Brunnecke als Verwalter einsetzte. Anlässlich der zuvor erfolgten Belagerung von 1301 ist die Burg vermutlich beschädigt worden, da das Erzstift "600 Mark reinen Silbers" in Reparaturen investieren musste. 
Die vielfach verzweigte Familie der Herren von Scharfenstein bekleidete hohe geistliche und weltliche Ämter im weiten Umkreis, bevor sie 1718 im Mannesstamme ausstarb.  Durch den Bau der Burg in Eltville erlitt Scharfenstein ab 1340/45 einen erheblichen Bedeutungsverlust, von 1347 bis 1354 war sie im Besitz der Mainzer Domherren.
Im 16. Jahrhundert noch bewohnt, war sie im 17. Jahrhundert offenbar schon Ruine.
Der Turm, der im 30-jährigen Krieg nur noch als Warte genutzt war, wurde 1686 durch einen Sturm beschädigt. In diesem Jahr wird die ehemalige Burganlage nur noch als verwilderter Hausplatz beschrieben.
1880 waren immerhin noch weite Partien der Ringmauer erhalten, da Steinmaterial von der Burg in Weinbergmauern und dem Bassenheimer Hof verbaut wurde.   1890/91 wurden von der Gemeinde Reparaturen durchgeführt. Die obersten Mauerlagen und die Decke des Turmes wurden 1957 ergänzt und als Aussichtsplattform zugänglich gemacht.