Südlich an den Burghof schließt sich eine weitgehend eigenständige,  jüngere, wohl um 1200 oder Anfang des 13. Jahrhunderts begonnene Burganlage an. Sie wird baulich von zwei Rundtürmen dominiert, die wohl gleichzeitig oder unmittelbar nacheinander entstanden sind. Der östliche ist der sogenannte  'Gefängnisturm', der westliche der sogenannte 'Barbarossaturm', wobei einer von diesen beiden 1237 als  'neuer Turm' bezeichnet wurde.

Der Zugang zur südlichen Burg erfolgt über eine neuzeitlich überdachte Treppe zwischen Kemenate und Burgkapelle und führt in einen eigenen kleinen Burghof (mittlerer Burghof). Auch diese Teilburg verfügte über einen eigenen Palas, der sich an ihrer Südseite zum Rheintal hin erhebt (südlicher Palas). Dieser heute als  'Rhinelander-Bau' bezeichnete Palas wurde Ende des 19. Jahrhunderts von T. J. Oakley Rhinelander wieder aufgebaut, wobei er den ursprünglichen westlichen Treppengiebel nutzte und talseitig die neugotische Fensterwand errichtete. Ab 1979 wurde der ehemalige Palas ausgebaut, wobei die ursprüngliche rote Farbfassung mit weißem Fugenstrich nach Befund wiederhergestellt wurde.

Auf der Westseite des Burgberges etwa hälftig durch Tore getrennt, ist je ein nördlicher und ein südlicher Zwinger der Burg vorgeschaltet. Der nördliche ist als Torweg mit mehreren Toren versehen und führt zum der Stadt zugewandten Nordtor. Der südliche beeindruckt durch die ihn schützende, ganz erhaltene Mantelmauer ("Hoher Mantel") von 32,5 Metern Länge und ca. 20 Metern Höhe, die erstmals 1357 genannt wird, somit in der ersten Hälfte des 14. Jahrhunderts errichtet worden sein dürfte. An ihrer Innenseite sind zwei Geschosse mit Schießkammern für Bogen- und Armbrustschützen vorhanden. Den oberen Abschluss bildet ein beidseitig auf Rundbogenfries leicht vorkragender Wehrgang, der innen durch eine Treppe in der Mauer erreichbar war. Er ist beidseitig von einer Brüstungsmauer eingefasst und wurde ursprünglich durch drei massive Wachhäuser unterteilt, deren Reste auf dem Wehrgang noch vorhanden sind.