La fondation de cet ermitage remonte à la fin du XII ème siècle, époque à laquelle le culte de Saint-Lubin, évêque de Chartres au VI ème siècle, connut une nouvelle ferveur.
Son emplacement se situaite entre l'église de la Couture et le Bois d'Alençon, non loin de l'antique chapelle Saint-Germain et du lieu-dit « Les Dix Esseaux. ».
L'ermitage délaissé depuis longtemps fut réoccupé par les religieux Pénitents, lorsqu'ils vinrent s'installer à Bernay vers 1470 (XV ème siècle)
A la suite de l'épidémie de peste de 1650 et après le transfert du monastère en 1657 à la « Porte de Rouen », on songea un moment à installer dans les locaux de l'ermitage un lieu de santé.
Un siècle plus tard, les Pénitent vinrent se fixer dans le quartier de la Couture, à proximité de l'église et placèrent leur nouveau monastère sous le vocable de Saint-Lubin.
Ce qui a prété à confusion par la suite.