Le début du commencement c'est sur la colline dominant le Rhône et dont les pentes furent jadis couvertes d'oliviers. Ce lieu est donc fréquenté dès la préhistoire et devient lieu de culte à l'époque romaine. Et comme l'endroit est décidément inspiré, il abrite divers ermitages, dont celui de Casarie qui sera gardé au Xème siècle par des bénédictins. Leur capacité de travail n'étant pas que légendaire, leur nouvelle abbaye s'impose rapidement : le monastère, prenant le nom de Saint André, devient l'un des plus puissants du Languedoc et de Provence. Aujourd'hui, la chapelle romane, qui fut église paroissiale, Notre Dame de Belvezeth la bien nommée, dépassant de la folle avoine, se tient sur la partie la plus élevée, à l'ouest du plateau.
Sous la tutelle d'Avignon, alors en terre étrangère, l'abbé de Saint André fait jouer les aléas de l'histoire, se rangeant du côté du Roi de France, à l'occasion de la révolte avignonnaise de 1226 contre ce dernier, Louis VIII et l'abbé. Le Roi de France devient co-seigneur des lieux et le restera jusqu'à la révolution. La monarchie capétienne, cherchant toujours à renforcer son pouvoir, tire ici
partie de la situation stratégiquement et politiquement. Dans la foulée, l'abbaye devient royale et ces confins du royaume s'enrichissent d'une forteresse abritant garnison. Un fort à l'aspect dominant est décidé en 1292. Il faudra quatre-vingt ans pour l'achever vers 1372. De formidable constitution, les tours jumelles flanquent un portail gothique, sans doute cadeau de Jean Le Bon, fréquemment hôte des lieux.