Ein war der Rote Turm die westliche Begrenzung der Vorstadt, er erhebt sich unmittelbar neben der inneren Zwerchmauer. Vermutlich entstand er bereits ab der Mitte des 14. Jahrhunderts im Zuge der Besiedlung neu gewonnenen Schwemmlandes und damit noch vor der großen Erweiterung der Stadtbefestigungen ab 1415.
Der Turm selbst ist ein eindrucksvolles Relikt der mittelalterlichen Ringmauer: ein quadratischer Torturm, gekrönt von Zinnen, der einst den Zugang zur Vorstadt „Auf dem Grieß“ markierte. Als westlichstes Stadttor spielte er eine wichtige Rolle im täglichen Leben – neben dem Schmidtor (abgebrochen 1878/79) und dem Tränktor (abgebrochen 1874).
Erstmals urkundlich erwähnt wird das Bauwerk im Jahr 1615 unter dem Namen „Pognertor“. Dieser verweist auf das Handwerk der Armbrustmacher, die hier einst ansässig waren und dem Tor seinen Namen gaben.