Dès le XI ème siècle, un château dominait ce poste de frontière du haut d'un éperon rocheux qu'enveloppe une boucle de la Sarthe, assurant aux défenseurs la maîtrise absolue du passage en contrebas. Cette place forte fut construite par une famille locale les Giroie pour lutter contre les pillages effectués par des Normands.
Elle fut assiégée par Guillaume II de Normandie dit le Conquérant et par Henri Ier Beauclerc.
Le clan des Giroie bâtit également une petite église de style Roman. Un petit sentier qui contourne l'abside offre une vue sur le pont du pierre datant du XI ème siècle et les vieilles maisons qui l'entourent.
Pendant la Guerre de Cent Ans, les troupes anglaises finirent par enlever la place grâce à un canon disposé sur un rocher lui faisant face.
Par la suite, Saint-Céneri tira ses ressources des gisements de minerai de feret des abondantes forêts présentes aux alentours, qui permirent de maintenir un travail artisanal dans les forges jusqu'à la fin du XIX ème siècle.
Le charme de sa situation avait alors attiré une fidèle colonie d'artistes qui ont suivi les traces de Corot qui était tombé amoureux du village en 1855.