Il était situé au pied de la roche où fut édifié, par la suite, le Château-Gaillard. Sa position dominait le Petit Andely et le Grand Andely.
Sa chapelle était dédiée à Saint-Nicolas, était à la présentation de l'archevêque de Rouen. Elle fut endommagé au cours des combats qui se déroulèrent aux portes des Andelys durant la seconde moitié du XII ème siècle.
On sait qu'en 1203, Gervais du Busc, chanoine de Notre-Dame d'Andely et archidiacre de Pont-Audemer restaura sur ses deniers propres la chapelle dédiée à Saint-Nicolas et la dota de vingt livres de rente.
Détruite de nouveau par la suite, son titre fut transféré dans l'une des chapelles de l'église de Saint-Sauveur du Petit-Andely. Un chapelain fut alors désigné par le chapître de Notre-Dame au XVI ème siècle, puis par le comte de Gisors au siècle suivant.
L'ermitage existait encore au XVII ème siècle, alors que François de Rémond, séigneur en partie de Farçeaux, etcapitaine-gouverneur de Château-Gaillard.