Il est construit en brique et pierre sur les bords de la Touque, est de deux époques différentes.
Le corps de logis avec ses deux pavillons d'angle est du début du XVII ème siècle. L'aile en retour est du XVI ème siècle, c'est un reste du manoir qui précédait le château.
De grands souvenirs s'attachent à ce château. Il fut, à la fin du XVI ème siècle, la résidence du Maréchal de Fervaques, célèbre en Normandie, et celui de sa jeune épouse qui devenue veuve défraya la chronique au début du XVII ème siècle.
Au XIX ème siècle, Madame de Custine possédait le château de Fervaques et y reçut à plusieurs reprises Châteaubriand.