Qui ne connait pas le grand pèlerinage de Saint-Jacques de Compostelle. À l'imitation de Charlemagne créant à Paris, rue Saint Denis un hospice pour recevoir les pèlerins se rendant en espagne, de nombreuses villes de province se mettent à se doter d'établissements identiques.
Ceux-ci se trouvaient hors des remparts afin que le pèlerin puisse trouver le gîte quand les portes étaient fermées.
C'est le cas de l'hospice Saint-Jacques. Le premier document le mentionnant date de 1225. Aucun autre renseignement ne peut nous fixer sur la date de fondation.
Il ne fait pas de doute que celui-ci a du être reconstruit plusieurs fois et sa contexture actuelle date de 1781 à 1785. On la doit au Duc de Penthièvre.