Der Ort Schwalbach wird bereits 790 in einer Urkunde Karls des Großen genannt.
Zunächst war er im Besitz der Abtei Prüm, dann ging er an deren Vögte, die Grafen von Katzenelnbogen, über. 1368 erhielt der Ort Stadtrecht. Zugleich begann Graf Eberhard V. von Katzenelnbogen (gest. 1402) mit dem Bau der Burg, die bis 1371 fertig gestellt war.
Diese zur Verstärkung der Nordgrenze ihres Territoriums angelegte Befestigung gehört zusammen mit Neukatzenelnbogen , also Katz und Rüsselsheim zu den jüngsten Burggründungen dieser Grafen. Bereits 1370 sind Burgmannen nachzuweisen. 

Die auf einem Sporn gelegene, gut erhaltene, aus Schieferbruchstein errichtete Burg weist einen ausgesprochen symmetrischen, fünfeckigen Grundriss auf, dessen Spitze zur Bergseite gerichtet ist. Diese gefährdete Angriffsseite ist besonders gut geschützt. Zunächst trennt ein bogenförmiger, tiefer Halsgraben das Burgareal vom Berghang ab. Dahinter erhebt sich die mächtige, spitz vorspringende, stumpfwinklige Schildmauer, die bei 5 m Mauerstärke eine Höhe von 21 m aufweist. In diese Frontspitze mittig eingestellt ist der runde, fünfstöckige Bergfried, der bei einem Durchmesser von 10 m eine Höhe von 39 m hat.