Il compte trois cours : la Piazza d’Armi, la Rocchetta et la Corte Ducale. Il est protégé par quatre tours cylindriques et un profond fossé.
Anciennement situé en dehors de l’agglomération urbaine, il s’ouvre actuellement sur la Piazza Castello en plein centre-ville.
Au cours des siècles, le château subit plusieurs dommages. En 1521, sous l’occupation française de François Ier, la foudre y a fait exploser 250 tonnes de poudre à canon, détruisant ainsi la tour principale, la Torre del Filarete. Par la suite, le château a servi d’écuries aux Espagnols et aux Autrichiens, Napoléon Ier en ordonna la destruction en raison de son délabrement. Après l’unification de l’Italie, le château commença à retrouver sa splendeur digne de son histoire avec une phase de restauration qui débuta dès 1893 sous l’impulsion de l’architecte Luca Beltrami. Il perdit de ce qui restait de l’enceinte fortifiée extérieure mais retrouva ses donjons, ses fossés, ses créneaux et ses toitures à chevrons, tandis que la Rocchetta et la tour de Bonne reprenaient leur aspect d’origine. La tour de Filatere avec sa grande horloge et sa statue de Saint Ambroise fut reconstruite à l’identique et inaugurée en 1904.
Aujourd’hui, le château abrite plusieurs musées et bibliothèques.