En 856, Charles le Chauve réunit à Neaufles les grands du royaume afin d'organiser une riposte aux attaques normandes. Le château déjà existant, était probablement en bois. Neaufles est situé au bord de l'Epte, rivière choisie en 911 dans le traité de Saint Clair sur Epte comme limite de la Normandie. Ces nouvelles frontières font de Neaufles une place stratégique dans l'organisation des défenses. Le château est alors reconstruit en 1097 par Robert de Bellême en calcaire et en silex. En 1196, la signature du traité de Gaillon rend Gisors et le Vexin Normand à la couronne de France. Sous le règne d'Henri IV, le château fut démantelé et seul le donjon, la fameuse Tour de la Reine Blanche subsista. Elle fut malheureusement très dégradée sous Mazarin en 1647, qui avait organisé le grand arasement de toutes les forteresses qui auraient pu nuire au pouvoir royal. Les vestiges que l'on peut voir mesurent 20 mètres de hauteur pour 13,60 mètres de diamètre, avec de puissants murs épais de près de 3 mètres.