Vornehmlich in der zweiten Hälfte des 17. Jahr-hunderts erfolgten weitere bauliche Veränderungen an der Anlage. Dabei wurde an den Westflügel und den Nordbau nachträglich ein zweigeschossiger Nordwestflügel angefügt (Dendrodaten 1660/61), während der Südflügel 1672 entstand. Im gleichen Jahr erhielt der neue Trakt als südöstlichen Abschluss einen Rundturm, der in seinen Proportionen dem gotischen Turm auf der Südwestseite entspricht. 1694/95 wurde an den bestehenden Nordbau noch der Nordflügel angebaut. Zusätzlich entstanden die pavillonartigen Eckaufsätze. Als letztes Bauglied wurde schließlich 1698-1701 der Ostflügel aufgeführt.
Noch 1788 richtete man in der Burg, die weiterhin als Amtskellerei und Zollamt diente, eine Wohnung für den Amtsverwalter ein. Erst nach 1794 wurde die Burganlage als solche aufgegeben und als Magazin und Lazarett genutzt.
Im Nordflügel hatte 1810 die Stadtgendamerie ihr Quartier, 1818 beherbergte die ehemalige kurfürstliche Burg eine Strafanstalt. Die baulichen Eingriffe im 19. Jahrhundert erstreckten sich vornehmlich auf die Innendisposition des Gebäudes. Zwischen 1840 und 1848 schüttete man die Gräben auf der West-, Süd- und Ostseite zu.
Später dienten die Gebäude zur Unterbringung von Teilen der Kommunalverwaltung, bis schließlich 1951 dort das städtische Museum eingerichtet wurde.