L’ancien nom de cette place est Marché au Safran. Son nom actuel lui vient de l’ancienne église Notre-Dame-la-Principale qui date du XIe siècle. Elle faisait partie des sept paroisses de la ville. Ce lieu est aujourd’hui la Chapelle des Pénitents Blancs. Sur le plan de référence de 1618, nous voyons bien l’emplacement du cimetière de la paroisse qui forme un petit triangle entre la place et une petite impasse où s’ouvre la sacristie des Pénitents. L’impasse aboutit maintenant dans la rue des Fourbisseurs grâce à un passage. De nombreuses parties de l’église ont été réaménagées aux XIVe et XVe siècles. Au-dessus de la porte de la chapelle on voit une sculpture appelée « le Christ aux cinq plaies » et aux pieds du Christ, deux pénitents en prière. Sur la façade, il y a aussi une niche vide.
Tout le monde connaît la chapelle des Pénitents Blancs située place de la Principale. Aveuglés par cette façade blanche et propre, les passants et promeneurs oublient de tourner leur regard en face de la chapelle.
S'ils le font, ils ne voient que le profil de la grande vierge rouge brique qui tend ses bras vers la rue Rouge aussi.
L'immeuble en face était spécialisé dans la fabrique ou/et la vente des "Ornements d'église".