Le Château de Boussac a été construit au XVe siècle, par Jean de Brosse à l'emplacement de la forteresse détruite par les anglais. Il a été remanié aux XVIe et XVIIe siècles.
La façade du château présente du côté de la Petite Creuse un aspect austère avec des pierres brunes, rythmée de tours rectangulaires coiffées de tuiles. Il se compose d'un bâtiment rectangulaire flanqué d'une grosse tour ronde, de deux tours carrées et une tourelle d'escalier à trois pans. La tour sud-ouest a conservé une partie des corbeaux de son ancien mâchicoulis. Les lucarnes datent du XVe siècle et possèdent des pignons à crochets, des fleurons et des compartiments flamboyants et une porte d'escalier en arc brisé possède un tympan sculpté.
Les fenêtres des premier et second étages ont été modifiées au XVIIIe siècle.
Après la révolution, sous les injonctions de l'administration du département, la municipalité de Boussac, sans enthousiasme, avait décidé le démantèlement du château en avril 1794. On combla les fossés, rasa le donjon, ainsi que les toitures "orgueilleuses" des tours, abattit le portail et les fortifications etc. Le corps principal de bâtiment est resté pourtant à peu près intact. Sa porte d'entrée comporte encore aujourd'hui, au-dessus du linteau, les armes de la famille de Brosse (trois "brosses") sculptées dans la pierre.
Vendu en 1833 à la municipalité de Boussac par Pauline de Carbonnières, racheté par le département, le château abrite, à partir de 1838, le siège de la sous-préfecture de Boussac.
La commune et le château sont marqués par deux résidents illustres, Pierre Leroux et George Sand.
En 1843, Leroux obtient du gouvernement de Louis-Philippe un brevet pour créer une imprimerie à Boussac, que George Sand, son amie et voisine de Nohant, lui avait fait découvrir. Leroux s'installe à Boussac, fait venir sa famille, des proches, puis, au fil des mois, des "disciples" séduits par ses théories et le mode de vie de la communauté.
Il édite L'Éclaireur, La Revue sociale, ses propres œuvres, tout en s'efforçant, en vain, de mettre au point sa propre machine d'imprimerie. Infatigable démarcheur, il tente aussi de séduire de nouveaux adeptes, si possible fortunés, et de recueillir des dons pour son entreprise collective, d'approche socialiste, qui est bien loin de parvenir à l'auto suffisance. En 1848, la "communauté" de Boussac aurait compté plus de 80 personnes.
En février 1848, Leroux est élu maire de Boussac. Il sera également député à Paris.
George Sand y réside à plusieurs reprises, notamment pendant une épidémie qui l'obligea à s'éloigner de Nohant et durant la guerre de 1870. Elle y écrit Journal d'un voyageur pendant la guerre. Au deuxième étage on peut voir la chambre qu'elle a occupée.
Après 1926, une caserne de gendarmerie s'installe dans le château.
Il a été acquis en 1965 par M. et Mme Blondeau qui l'ont restauré et meublé.
Le château possède une très intéressante suite de tapisseries d'Aubusson depuis le XVIIe siècle jusqu'à l'époque actuelle.