Der Turm hatte folglich bereits kurz nach seiner Errichtung seine eigentliche Funktion verloren. Im Jahr 1504 ließ Landgraf Wilhelm von Hessen den Ort Münster plündern und niederbrennen. Offenbar wurde in diesem Zusammenhang auch der Turm Trutzbingen zerstört. Die Karten von 1577 und 1599 zeigen den Turm bereits als Ruine.
1787 befand sich das Bauwerk angeblich noch in "gutem Zustand". Zwischen dem "Alten Turm" der Ortsbefestigung und Trutzbingen verlief parallel zur Straße ein Landgraben.
Um 1910 legte man weitere Reste einer Befestigung frei. Die Ruine gelangte zu Beginn des 19. Jahrhunderts in Privatbesitz und wurde 1926 an die Ortsgemeinde veräußert.