A la fin du XIXè siècle, le château cessa d'être la propriété de la famille de Castries. De 1883 à 1936 il passe en effet entre les mains du vicomte d'Harcourt.
En 1936, après rétrocession de leur château, le duc et la duchesse René de Castries entreprirent alors une 3ème restauration, tendant à gommer certaines erreurs de leurs prédécesseurs. Ils en profitèrent pour redessiner les terrasses d'après les plans retrouvés aux Archives Nationales et pour redonner à la cour d'honneur son ordonnance primitive. Dans le même temps, ils essayèrent de reconstituer le mobilier manquant.
Tel qu'il se présente actuellement, le château de Castries comprend donc un corps principal de 70 mètres de long, encadré de 2 tours carrées dont les toitures ont été entièrement restaurées entre 1994 et 1999. Le corps central est flanqué de 2 ailes longues de 50 mètres. Celle de l'ouest, de style Renaissance, est quasiment intacte ; celle de l'est, dont il ne reste que la façade, ne sert qu'à équilibrer l'ensemble.
Dans cette cour d'honneur, sous un portique dorique, trône un buste de Louis XIV, en marbre de Carrare, attribué à Pierre Puget (sculpteur français né en 1620 et décédé en 1694). Quant aux portes du rez-de-chaussée, surmontées par des frontons de style Louis XIII, elles s'ouvrent à l'est sur les terrasses et le parc. En contrebas de cette aile est les jardins à la française sont composés de parterres d'entrelacs de buis.
A l'intérieur du château, les parties les plus intéressantes demeurent l'escalier d'honneur tapissé de toiles de l'Ecole de Boucher et la grande salle des Etats du Languedoc dont les murs supportent de beaux portraits de famille. A l'entrée de cette salle se trouve un magnifique poële de faïence de Nuremberg, le plus grand conservé en Europe. Cette salle est prolongée par une bibliothèque riche de centaines de livres dont certains admirablement reliés. Au même étage se trouve la salle à manger, avec sa grande table entourée de sièges, ses belles commodes et quelques belles pièces de vaisselles, dont certaines aux armes de la famille de Castries, avec leur devise : "Fidel à son Roy et à l'Honneur". Egalement accrochés aux murs deux tableaux du Cardinal de Fleury, précepteur puis ministre de Louis XV, attribués à Hyacinthe Rigaud. Au rez-de-chaussée, la cuisine, placée en-dessous de la salle à manger, rutile de tous ses cuivres, tandis que dans une pièce attenante sont exposés quelques pièces de lingerie.
Dès lors le château de Castries et son parc ont été déclarés "site classé" en 1943 et "Monument Historique" depuis 1966. Et en 1985, il est devenu propriété de l'Académie Française, suite à la donation faite par le Duc de Castries, lui-même académicien reconnu en tant qu'historien remarquable. Lors de la cérémonie officielle établie autour de cette donation, une trentaine d'académiciens furent accueillis au château de Castries.
Actuellement, le château n'est plus utilisé qu'à des fins de manifestations culturelles très ponctuelles, mais une convention avec le Conseil Régional du Languedoc Roussillon permet une nouvelle utilisation château dont les visites ne sont plus autorisées.