Die Anfänge des sich heute dem Betrachter als spätgotisches Burghaus präsentierenden Anwesens liegen im Dunkeln.
Ob der bestehende Adelshof tatsächlich auf einen Bau aus dem 13. Jahrhundert zurückgeht, ist unklar. Einigermaßen gesicherte historische Überlieferungen zu dem Adelshof setzten erst zu Beginn des 15. Jahrhunderts ein. Möglicherweise ist das Ritter-Schwalbach-Haus mit jenem "obersten steineren huse zu Airsburg mit seiner zugehoringe, da Heinrich von Airsburg itz und inne wonet"  identisch, das 1401 im Zuge einer Erbteilung der Adelsfamilie Beyer von Boppard erwähnt wird.
Mitte des 15. Jahrhunderts kommt das Gebäude durch die Heirat der Anna von der Leyen, Witwe des Johann von Arsburg (Airsburg), an Wilhelm von Schwalbach (gest. 1483), der es im Stil der Spätgotik umgestalten lässt. In der Folgezeit verbleibt das Burghaus im Besitz der Familie von Schwalbach, die 1589 mit Melchior Meinhard erlischt.

Bei dem zwischen dem Sandtor und dem ehemaligen Franziskanerkloster (später Lehrerseminar) gelegenen spätmittelalterlichen Burghaus handelt es sich um einen mehrgeschossigen verputzten Bruchsteinbau über rechteckigem Grundriss mit einem sich an die östliche Schmalseite anschließenden Kapellenerker und einem Treppenturm an der Südwestecke.
Das Zeltdach wird an den übrigen drei Ecken durch polygonale Erkertürmchen mit spitzen Helmen akzentuiert. Unterhalb der Dachtraufe befindet sich ein einfacher Rundbogenfries, während die Erker auf Konsolsteinen vorkragen. Die Fassade zeichnet sich durch unregelmäßig angeordnete, meist gekuppelte Fenster mit Profilrahmungen aus Basaltlava aus. In der Mitte der Nordseite befindet sich eine flache Kaminauskragung über spitzen Bogenblenden. Der Erker der Hauskapelle auf einem halbrund geschlossenen Sockel geht im Hauptgeschoss in ein Fünfachtelpolygon über. Unter dem Kapellendach befindet sich - wie beim Burghaus - ein Rundbogenfries. Im Unterschied zum Treppenturm und zu dem Erker an der Südostecke, die beide noch die ursprünglich steilen Schieferhelme aufweisen, waren die rheinseitigen Ecktürmchen bis zur Rekonstruktion der Spitzhelme in Traufhöhe mit Walmdächern aus dem 19. Jahrhundert gedeckt.