Die Kirche der katholischen Altstadtpfarrei besteht aus einem dreischiffigen, zweijochigen Hallenlanghaus mit dem aus schmalen Vorjoch und fünf Seiten des Achtecks bebildeten Chor am Mittelschiff und dreiseitig geschlossenen, außen nicht hervortretenden flachen Nebenchören an den Seitenschiffen. Der stämmige Turm ist zur Hälfte in das Westjoch des Mittelschiffes einbezogen. Entgegen mancherlei früher geäußerten Vermutungen ist die Kirche, wie die stilistische Einheitlichkeit zeigt und wie es Untersuchungen am Mauerwerk anlässlich der Restaurierung von 1974/75 bestätigt haben, ein in einem Zuge errichtetes Bauwerk. Der Bau ist recht gut datiert. In der Urkunde vom Mai 1287, die den Streit um die ursprüngliche, den Dominikanern zugewiesene Pfarrkirche St. Maria in vinea mit einem Kompromiss abschloss, versprach Otto, erwählter Bischof von Paderborn und Landesherr, die neu zu errichtende Marienkirche der Altstadt, die auch das Taufrecht haben sollte, „ohne Kosten für die Bürger“ weihen zu wollen. Im September 1290 verkaufte der Bischof den Bürgern der Altstadt seinen unteren Hof (curiam nostram inferiorem adiacentem veteri opido Wartberg), so dass das Baugelände für Kirche und Stadterweiterung gegeben war. Im Juli des Jahres 1297 trennte der Bischof die Altstadtpfarre, die 1287 vorübergehend mit der Petripfarre „ außerhalb der Mauern“ vereinigt worden war, wiederum von dieser. Das setzt voraus, dass zu diesem Zeitpunkt die Altstadt über ein für Gottesdienste benutzbares Kirchengebäude verfügte, d.h. , dass die neue Pfarrkirche – sie wird in der Urkunde schlicht nur als „ecclesia sanctae Marie veteris opidi“ bezeichnet – im wesentlichen fertig gestellt war. Ohne genaue Quellenangabe nennt Hagemann als Datum der Weihe „sub titulo visitationis beatae Mariae virginis“ den 19. Juni 1299. Damit ergibt sich als Erbauungszeit das letzte Jahrzehnt des 13. Jahrhunderts.
Spätere Zutaten haben den ursprünglichen Bestand nur unwesentlich verändert. An der Nordseite des Chores entstand als Sakristei im Jahre 1429 die heutige Marienkapelle. Im 19. Jahrhundert brach man neben dem Südportal das dreiteilige Fenster ein, das sich unter anderem durch das Fehlen des äußeren Gewändes von den übrigen Kirchenfenstern unterscheidet. Der Turm erhielt 1899/1900 statt des überkommenden vierseitigen Daches – wie des heute noch der Kirchturm von Welda besitzt – ein weiteres, fünf Meter hohes Geschoß mit Umgang und 30 m hoher Spitze in Form einer achtseitigen Pyramide.Die jetzige Sakristei an der Südseite des Chores wurde im Jahre 1947 errichtet.