Le deuxième marquis de Castries, également gouverneur de Montpellier, et par ailleurs lieutenant du roi en Languedoc et chevalier de Saint Esprit, devait épouser la fille du duc de Lévis. De leur union naquit en 1727 celui qui devait devenir le membre le plus illustre de cette famille : Charles-Eugène-Gabriel, futur maréchal de Castries, lequel se couvrit de gloire à Clostercamp (1760) mais surtout travailla en tant que ministre de la Marine (1780-1787), à redonner une flotte de guerre digne de ce nom à la France. Emigré en 1791, il termina sa carrière comme chef du cabinet du Comte de Provence (futur Louis XVIII). Quant à son fils, il se distingua en Virginie aux côtés de La Fayette, ce qui lui valut, en 1784, à son retour en France, d'être créé duc de Castries.
La Révolution Française allait naturellement laisser des traces dans la région. C'est ainsi qu'en 1792, le château fut mis sous séquestre, avant d'être pillé par des émeutiers et partagé entre 14 propriétaires différents. L'année suivante, les biens des Castries étaient mis aux enchères. Par la suite, il fallut donc attendre 1828 avant que le second duc de Castries (Edmond de La Coix de Castries) ne puisse racheter le château, le parc et la majeure partie du domaine et enfin débuter des travaux de restauration, malheureusement pas toujours très heureux. En 1848, il fit édifier la tour est et il modifia le corps central du château, en supprimant notamment les fenêtres à meneaux afin de pouvoir créer en entresol quelques chambres de bonnes.