L'origine de l'ermitage du Désert, établi aux Baux-de-Breteuil, à la naissance du vallon du lesme, n'est pas antérieure au XIème siècle.
Au début du XII ème siècle, il était peuplé d'une petite communauté d'ermites vivant sous la direction de Hugues; sa chapelle, de construction récente, était dédiée à Notre-Dame.
En 1125, Robert de Breteuil, Comte de Leicester, obtint la transformation de l'ermitage en monastère. Ce monastère est soumis à l'autorité de l'Evêque d'Evreux, mais l'imprécision de la règle n'était pas sans inconvénients pour la vie en communauté.
Ainsi en 1245, le monastère fut placé dans la dépendance de l'Abbaye de Lyre.
Il prit alors le nom de prieuré Notre-Dame-de-Lesme, mais ayant reçu par la suite des reliques de Sainte Suzanne, c'est sous le nom de cette sainte que l'on prit l'habitude de désigner le monastère et la chapelle. Les pélerinages en son honneur y avaient lieu fréquemment.
Après extinction de la vie monastique dans ce prieuré, ses biens furent réunis à ceux du Grand Séminaire d'Evreux en 1674.