Erzbischof Friedrich III. von Saarwerden ließ die Vorgängerburg, die die Jülicher Grafen widerrechtlich gebaut hatten, abreißen. An ihrer Stelle wurde die Burg mit ihren mächtigen Rundtürmen und weiteren wesentlichen Bauteilen an diesem Standort errichtet. Von Saarwerden ließ zur selben Zeit auch neue Stadttore und Mauern errichten, die die vier Stadttore miteinander verbanden. Als zusätzliche Wehranlage ließ er Gräben entlang der Stadtmauer ausheben.