Le château des Comtes, fleuron du patrimoine civil mouscronnois, a connu au fil des siècles grandeur et décadence. Dès le XVe siècle, le fief des Ramées se distingue par sa belle forteresse où logent les Seigneurs de Mouscron. Au temps de sa magnificence, le domaine se composait du château (donjon et corps de logis de la haute cour) et des bâtiments de ferme de la basse cour.
Il remplace un premier château sis au Mont-à-Leux aux Lieux-dits la Castellerie (1296) et Haut-Judas (1452). Château de Roger de Mouscron, vassal des seigneurs de Louvain et partisan du comte de Flandre, il est saccagé lors de l'ost de 1315 par les soldats du duc de Bretagne Jean III. En 1359, Jean de Masmines et son épouse Jeanne des Ramées transfèrent aux Ramées le bénéfice de la chapelle de la Castellerie.