Outre son pont, la ville est célèbre pour son Hôpital lui aussi géré par l'Oeuvre. Vers 1310, la confrérie affirme une vocation charitable avec la construction d'un asile qui accueille pélerins et indigents, femmes en couches et enfants abandonnés. L'Hôpital de Saint Esprit (l'un des 4 Hôpitaux Généraux de la chrétienté avec ceux de Ronceveaux, de Notre Dame du Puy et de Saint Antoine en Viennois) est construit en amont de l'entrée du pont et y confronte la Maison du Roy, siège de l'Oeuvre. Il comporte une grande salle où sont logés les malades et un sanctuaire gothique dont le portail, attribué à l'architecte genevois, Blaise Lecuyer, est terminé à la fin du 15 ème siècle.
En raison de leur situation géographique, à la fois frontalière et carrefour, la ville et le pont Saint Esprit, furent des places stratégiques pour les pouvoirs publics et les militaires.
A la suite du découpage de l'empire carolingien, la vallée du Rhône, puis le fleuve lui-même, devinrent une ligne frontalière convoitée, entre le Royaume de France à l'ouest et le Saint Empire Germanique à l'est. C'est ainsi que pendant des siècles, les riverains et les mariniers continuèrent d'appeler Royaume la rive droite et Empire la rive gauche. De plus, le voisinage avec Avignon qui, du 13 ème siècle à 1791, appartint à la papauté, apporta tour à tour à la ville de Pont Saint Esprit richesses et turpitudes. Le Pont Saint Esprit est donc le trait d'union entre plusieurs états et relie les provinces du Languedoc et du Vivarais à la Provence et au Dauphiné. Comme il se trouve être le seul pont de pierre entre Lyon et la mer, il fallut défendre ce point stratégique en le fortifiant. C'est cette image que montrent encore les armoiries de la ville estampillées sur le mobilier urbain contemporain : le pont est fermé de deux demi-tours avec une croix au milieu surmontée du Saint Esprit et de deux fleurs de lys. Au 14 ème siècle, alors que la guerre de Cent Ans fait rage, la ville tente de se protéger de la convoitise des armées ennemies en s'enfermant dans de nouveaux remparts qui englobent la tête du pont et l'Hôpital. Hélas, ces précautions n'effarouchent guère les terribles mercenaires anglais, "amis de Dieu et ennemis à tout le monde" et qui "dégâtaient" villes et campagnes sur leur passage. Pont Saint Esprit leur résiste un temps et les empêche d'entrer en Dauphiné, mais finit par succomber à leur siège. Les pillards pouvaient alors "courir à leur aise et sans danger, une heure en Royaume de France et l'autre en Empire" et allaient "ous les jours jusqu'aux portes d'Avignon, de quoi le Pape et tous les cardinaux étaient en grand paour".
Plus tard, conscient que le pont Saint Esprit est un passage-clé pour les protagonistes des guerres de religion qui ensanglantent et saccagent la ville, Henri IV décide de renforcer son système défensif et entreprend vers 1590 la construction d'une citadelle. Celle-ci, terminée par Louis XIII en 1627, englobe les bâtiments de l'Hôpital qui disparaît totalement derrière les murailles défensives. Bombardée par les Allemands, et démantelée après la seconde guerre mondiale, la citadelle est aujourd'hui un lieu étrange, un chaos architectural où les époques et les styles se superposent en de surprenants raccourcis anachroniques. Quel contraste lorsqu'après la descente verticale d'un escalier humide qui semble plonger tout droit vers un cachot sordide, le visiteur déboule finalement dans la lumière et se trouve nez à nez avec les dentelles tarabiscotées du pinacle du magnifique portail gothique ! Durant la Régence, au début du 18ème siècle, une nouvelle caserne contruite à l'opposé de la citadelle modernise les équipements militaires de la ville. La rigueur fonctionnelle de ces bâtiments a abrité pendant longtemps une garnison importante. La caserne Pépin est devenue un centre commercial de nos jours.
Le déclin du port
Au 19 ème siècle, Pont Saint Esprit se développe hors de ses murailles, abattues et transformées en promenades ombragées, et l'arrivée du chemin de fer modifie considérablement son visage ; tournant alors le dos au fleuve où se meurt la batellerie, la ville entre dans l'ère du progrès industriel. A cause de la force de la vapeur, les fiers mariniers des bateaux de bois qui ont fait vivre la vallée pendant des siècles sont irrémédiablement mis au chômage, tout d'abord par la concurrence déloyale des puissantes compagnies des navires à aubes puis par les chevaux mécaniques des locomotives. Aux alentours du port, le quartier populaire de Rivière se vide peu à peu de l'innombrable petit peuple de lavandières, de débardeurs, de mariniers et de pêcheurs qui vivaient du Rhône et de la navigation. A peine construit, l'escalier Saint Pierre, contrepoint terrestre du pont et véritable monument à la gloire de la ville et à son port, ne voit plus défiler les trains de barques décizant de Lyon à Beaucaire. Désormains orphelins, certains témoins commémorent, chacun à leur façon, de la prospérité économique ou de la vie humble, rude et intense de la batellerie d'autrefois. Derrière la digue qui protège désormais les bas quartiers des montées intempestives du fleuve, mais qui en ôte aussi la vue, les bittes d'amarrage, solitaires, disparaissent au milieu des peupliers et des aulnes. Désormais déserts, les quais sont parfois animés par la présence de quelques vieux spiripontains qui, une casquette marinière vissée sur la tête, viennent prendre le soleil le long du fleuve et commentent les gestes lents et mesurés des pêcheurs à la ligne.
Loin de la bryance des boulevards de la ville haute, le quartier de Rivière, si typique avec ses ruelles calladées et ses maisons de village aux larges génoises, est un endroit charmant mais un peu fantomatique. Un petit air de nostalgie souffle le long des façades des maisons dont les crépis bigarrés se décolorent au fil des ans et où des touffes de pariétaire ou de ruine de Rome, grosses comme des buissons, dégoulinent en cascades.