Ce sont surtout les guerres de religion qui ont mis à mal l'édifice. Aux mains des Huguenots depuis 1562, il est assiégé par les troupes royales du Maréchal Damville en 1573. L'un des 2 donjons sera détruit et de la ville il ne restera qu'une trentaine de maisons. En 1685, l'Edit de Nantes est révoqué. L'intendant de Basville mène une lutte contre les protestants. Sommières baisse pavillon devant les Compagnies de Dragons le 29 septembre. Le Château Sommiérois servira de prison pour les légionnaires. En 1703, le chef camisard Cavalier qui descend vers Nimes et St Gilles attaque Sommières et massacre le voisinage. La dernière bataille de Sommières aura lieu presque 2 siècles de demi plus tard, à la Libération, sur le pont tenu par les maquisards.
Mlagré ces épisodes brutaux, la ville a gardé au cours du temps une relative prospérité. La Serge et le Cadix eurent un temps leur place auprès des autres activités et une qualité de drap porta jadis le nom de "Sommières".
Les excédents de vin vers 1660, le phylloxera ont ponctué parfois son histoire.
Vers 1850, la distillation des essences aromatiques fit connaître Sommières dans les grandes villes européennes. La terre de Sommières, la sépiolite, connue depuis le Moyen Age, a vu son terme il y a peu de temps. Elle était en réalité extraite de la mine de Salinelles et servit à dégraisser les laines avant de connaître un usage domestique.