Es ist zu vermuten, dass die Burg Sayn auf dem Kehrberg spätestens bei ihrer Erwähnung 1192 zum neuen repräsentativen Wohnsitz der Grafenfamilie geworden ist.
Immerhin haben 1984 durchgeführte Grabungen im Westbereich der Burg den Hinweis geliefert, dass der Kehrberg seit dem frühen 12. Jahrhundert besiedelt gewesen ist. Spätestens seit dem letzten Viertel des 13. Jahrhunderts diente Burg Sayn den gleichnamigen Grafen als Residenzburg, neben der um 1170 errichteten Burg Blankenberg an der Sieg (NRW), bei der es sich ebenfalls um eine Residenz der Grafen von Sayn handelte. Im Jahr 1200 werden mit dem Burggrafen Arnold und dem Schenken Giselbert erstmals Amtsinhaber erwähnt, die hier Hofämter versahen. In einer weiteren Urkunde aus dem Jahre 1202 werden insgesamt neun Ministerialen von Sayn ("ministeriales comitis de seine") genannt, bei denen es sich um Mitglieder der Burgmannschaft auf Burg Sayn gehandelt haben wird.
Nach dem Ableben des Grafen Heinrich III. von Sayn (+1246/47) und der Zersplitterung des großflächigen saynischen Herrschaftsbereichs verliert Burg Sayn ihre Bedeutung als "Residenzburg". Sie diente aber weiterhin als administrativer Mittelpunkt eines Amtes. Mit dem Aussterben der älteren Sayner Linie im Jahre 1606 zog das Erzstift Trier die Burg als erledigtes Lehen ein. Im Verlauf des Dreißigjährigen Krieges wurde Burg Sayn im Jahre 1633 zerstört.
Schließlich gelangte die Burg zu Beginn des 19. Jahrhunderts an Preußen. 1848 erwarb Ludwig Adolph Fürst zu Sayn-Wittgenstein-Berleburg (später Fürst zu Sayn-Wittgenstein-Sayn), das barock umgestaltete, im Kern spätmittelalterliche ehemalige Reiffenberger Burghaus, das zu Füßen der Burgruine stand. Noch im selben Jahr schenkte der preußische König Friedrich Wilhelm IV. dem Fürsten die Burg.
Die Ruinen auf dem Kehrberg wurden in einen neu gestalteten englischen Landschaftsgarten einbezogen.