In der sogenannten Eltzer Fehde (1331-1336) belagerten die Truppen des Trierer Erzbischofs Balduin von Luxemburg (1307-1354) die Burg Eltz und errichteten die benachbarte Belagerungsburg Trutzeltz oder Baldeneltz. Dem Kirchenfürst gelang es, das gegen ihn gerichtete Bündnis der Gemeiner von Eltz, Schöneck, Ehrenburg und Waldeck aufzulösen (Friedensvertrag 1336/37).
1354 erlangte der kurtrierische Landesherr die Belehnung mit der Burg Eltz durch König Karl IV. Die Herren von Eltz wurden damit zu kurtrierischen Lehnsleuten. Die namengebende Stammburg Eltz bildete den Mittelpunkt einer kleinen Herrschaft, über die der Aufstieg der später in den Reichsgrafenstand erhobenen Familie allerdings weit hinausging.
Im Jahre 1410 trugen die Herren von Eltz dem Trierer Erzstift die Burg zu Lehen auf. Der Familienzweig Eltz mit den Büffelhörnern war bereits 1440 ausgestorben und der Besitzanteil an die beiden verbleibenden Hauptlinien übergegangen.
Erst 1815 gelangte die Stammburg der Herren von Eltz durch Kauf des Anteils der Freiherren von Eltz-Rübenach (silberner Löwe) in den Alleinbesitz der Hauptlinie der Grafen und Edlen von und zu Eltz, gen. Faust von Stromberg (Eltz-Kempenich; goldener Löwe).

Die bis heute in Familienbesitz befindliche Burg wurde 1920 durch einen Brand in Mitleidenschaft gezogen, jedoch bis zum Ende des Zweiten Weltkrieges wiederhergestellt. Bis heute befindet sie sich im Besitz der Grafen und Edlen von und zu Eltz, mittlerweile in der 33. Generation.