Die 1241 erstmals mit Gottfried urkundlich bezeugte Familie von Bell stammt vermutlich von den Herren von Kolf ab. Im Jahre 1267 wird die Burg zu Bell erstmals genannt, als Hermann Kolf von Bell sie dem Grafen Heinrich von Virneburg zu Lehen auftrug. Die Brüder Hermann und Rolmann von Bell sowie Hermann Lichte, Gemeiner des Hauses Bell, öffneten 1335 die Burg dem Trierer Erzbischof Balduin von Luxemburg. Dies geschah mit Zustimmung der Abtei Laach, die als Grundbesitzer von Bell fungierte, und der Grafen von Virneburg als Lehnsherren. Aus einer 1401 ausgestellten Sühneurkunde geht hervor, dass die Burg während einer Fehde zwischen dem Ritter Rolmann von Bell und der Stadt Mayen niedergebrannt und abgebrochen worden war.
Später richtete man die Burg wieder her. Das Geschlecht von Bell begegnet uns noch 1452 mit Rolmann und 1478 mit Agnes von Bell, Kanonikerin zu St. Thomas in Andernach. 1476 gelangte die Burg an Agnes Nichte, Kunigunde von Wolfskehl, und 1491 an Wilhelm von Wolfskehl zu Sinzig. Als weitere Besitzer treten im 16. Jahrhundert Johann von Müllenark und Heinrich Krümmel von Nechtersheim zu Gartzem in Erscheinung.
1704 schließlich gelangte Bell auf dem Erbweg an Karl Josef Brewer, dessen Nachkommen Bell bis heute besitzen.