Offensichtlich um nach Fertigstellung der Grevenburg auch Zölle von den abgetrennten Stiften des Kurfürstentums Trier auf den sponheim'schen Flusskilometern zu erheben, versuchte Johann III. 1355/56, die Mosel durch den Bau einer flussnahen Burg zu kontrollieren. Dies wiederum ärgerte Boemund, Erzbischof von Trier, der "die musel uff und nyder ungehindert" für allesamt befahrbar betrachtete "als man von altersher hait gethan". Da 1355 sowieso Kriegsstimmung herrschte und ein Gefecht bei Kirchberg für den Sponheimer ,,misslungen" endete, kam es am 29. Juli 1356 zu einem Friedensvertrag, in dem es heißt: "Zum Ersten soll das neue Haus, das wir unter der Starkenburg, nahe der Mosel für uns in Anspruch genommen und gebaut haben, in Herrn Philips, Herrn Bolanden und Herrn Reymbolds zu Saarbrücken, unseres Herrn von Trier Bruder Händen stehen. Also: Was diese zwei einträchtig uns anweisen, damit zu tun, das sollen wir tun ohne Widerrede." Aus dieser Urkunde geht hervor, dass die Zollburg als "Neues Haus" noch nicht alt sein konnte. Wenn sie in der Kirchberger Fehde zerstört worden wäre, was Quellen mit Recht bezweifeln, wäre es unnötig, eine zerstörte Burg in die Hände zweier Sieger zu geben, die einträchtig Weisungen geben sollen, was mit ihr zu geschehen habe. Es wird auch nicht von einer ,,Zerstörung" der Zollburg gesprochen. Da Kampf- oder Abbruchschäden nicht sichtbar sind, konnten die Weisungen der Sieger nur lauten, die Zollburg nicht fertig zu stellen. Sie ist somit eine Bauruine aus dem 14. Jahrhundert. Ihre Kurzlebigkeit in halbfertigem Zustand ließ die geplante Gesamtausführung in Vergessenheit geraten, so dass mit Turm, Schildmauer und einer bergseitigen Spitzbewehrung der "Turm" Namensgeber wurde.