Il s'agit de l'appellation donné au domaine ayant appartenu aux « Ermites du Désert », dits aussi de « Notre-Dame-du-Lesme. »
Deux chartes, l'une de 1202 et l'autre de 1204 mentionnent dles donations faites en leur faveur par Robert du Boulay sur le territoire d'Ambenay.
Une autre charte, donnée par Henri Croc en 1247, fait état du « Fief des Siaules » et du « Moulin du Désert », ils sont situés dans la localité appartenant aux religieux de Notre-Dame-du-Désert.
«L'Hermite » désifne depuis un lieudit, mais aussi un moulin et un château.