Die Burg Crey wurde um 1300 von Lambert von Lützing dem Kölner Erzstift zu Lehen aufgetragen.
Dementsprechend muss sie zu zuvor zu einem allerdings nicht genau bekannten Zeitpunkt errichtet worden sein. Im Jahre 1338 tritt sie wieder in den schriftlichen Quellen in Erscheinung, als sich die Anlage im Pfandbesitz des Andernacher Schöffen Christian Münster befand. Im Jahre 1366 wird sie als Lehen des Jakob genannt Kreyer bezeichnet.
Zwanzig Jahre später, 1386, gelangt die Hälfte des Lehens an Dietrich von Kray.
Die zweite Hälfte fällt 1408 an Johann Schilling von Lahnstein, kommt 1438 an Arnold von Kettig und später an die Boos von Waldeck.
Im Jahre 1590 ist Anton von Eltz als Ganerbe zu Kray aufgeführt. Später gelangt die Wasserburg in den Alleinbesitz des Jakob von Eltz (+1645). Nach mehrfachem Besitzerwechsel (1664 Hofrat Dr. Johann Klauth; 1720 Freiherr von Weißenstein; 1721 Johann Friedrich de Cler) gelangt das Anwesen 1813 an den Lederfabrikanten Nebel.
Bald darauf, im Jahre 1827, kam sie in den Besitz der Familie Hölterhoff aus Köln.

Die spätgotische Wasserburg Krayer Hof repräsentiert den im Rheinland häufig anzutreffenden Typ der winkelförmigen Hauptburg, dessen Hauptgebäude aus zwei Flügeln bestand. Auch wenn zur Baugeschichte der Wasserburg bislang noch keine neueren Untersuchungen vorliegen, dürfte das Hauptgebäude in seinem Kern wahrscheinlich zum spätmittelalterlichen Baubestand gehören.