Construit à partir de 1823 selon les plans de Charles Vander Straeten et achevé en 1826 par Tilman-François Suys, ce palais monumental de style néoclassique servit à l’origine de résidence au prince d’Orange.
Après diverses affectations, cet édifice dont le luxe intérieur contraste avec l’austérité des façades, devint dès 1876 le siège de l’Académie royale des Sciences, des Lettres et des Beaux-Arts et de l’Académie de médecine.
Trois autres académies les y rejoignirent dans le courant du XXe siècle. Restauré et partiellement modernisé, ce bâtiment abrite toujours cinq des sept académies belges.