La ville se trouve au croisement entre deux importantes routes romaines. En 963, Sigefroid, comte de la vallée de la Moselle, construisit un château sur le rocher du Bock, qu'il avait obtenu par échange avec l'abbé de Saint-Maximin de Trêves. Ses serviteurs et ses soldats s'établirent autour du château, et la ville moderne se développa à partir de la place du marché de ce premier village, le Vieux Marché.
La croissance urbaine fut telle, par la suite, qu'il devint nécessaire de construire une seconde enceinte à la fin du XIIe siècle, qui fut elle-même remplacée par une troisième enceinte, plus vaste, au XVe siècle. Au XVIe siècle, Luxembourg était devenu un site stratégique et militaire important. Ses fortifications furent constamment agrandies et améliorées, ce qui valut à la forteresse son titre de « Gibraltar du Nord ». Avec la signature du traité de Londres, en 1867, les puissances européennes décidèrent de la neutralité perpétuelle du grand-duché, de l'évacuation de la forteresse dans les trois mois et de la démolition de ses fortifications, ce qui transforma une sombre forteresse de quelque 180 ha en une ville ouverte.