Les activistes du FIS vont alors mener une guerre contre le gouvernement en ciblant dans un premier temps les policiers et les militaires en créant une branche armée : l'AIS. Des groupes extrémistes non affiliés au FSI se forment, dont le plus important est le Mouvement islamique armé (MIA). Les différents groupes vont commencer à s'en prendre également aux intellectuels qui soutiennent le pouvoir, certains s'en prendront délibérément aux civils, propageant la terreur dans les villages.
En octobre 1992, le MIA et le Mouvement pour un État islamique (MEI) fusionnent pour devenir le Groupe islamique armé (GIA) qui comportera jusqu'à plusieurs milliers de combattants. L'AIS et le GIA vont employer les mêmes méthodes d'actions, pourtant ils ne s'allieront jamais. Le FSI et sa branche politique sont plus modérés et condamnent les actes commis par le GIA, dont les massacres de civils. Celui-ci est aussi accusé d'être manipulé par le gouvernement algérien, thèse soutenue par le politologue britannique Nafeez Mosaddeq Ahmed.
L'histoire du film "Des hommes et des dieux" de Xavier Beauvois commence en 1993, lorsque douze ouvriers chrétiens d'origine croate se font tuer par un commando islamiste près du monastère de Tibhirine. Les groupes armés s'en prenaient au religieux chrétien et demandaient aux Français de partir. Malgré tout, les moines ont refusé de quitter l'Algérie, ainsi qu'une protection de l'armée. Ce monastère, érigé en 1938, rendait des services aux habitants des alentours comme de l'aide pour les formalités administratives ou pour la santé.
Lors de la nuit du Noël 1994, les moines reçoivent la visite de ce commando dirigé par Sayah Attia. Le Frère Christian parvient à les convaincre que le monastère est neutre. Le commando les laissera célébrer la naissance d'Issa — Jésus. Les moines discuteront par la suite de leur avenir dans le monastère et décideront de rester.
Dans la nuit du 26 au 27 mars 1996, le GIA enlève sept des neuf moines. Près d'un mois plus tard, le groupe armé annonce la mort des moines. Aujourd'hui, le monastère est toujours entretenu : la bergerie, le vergé, même la messe à lieux certains jours de la semaine, mais il n'est plus habité. L'État d'urgence en Algérie, toujours en vigueur il y a peu, rendait l'accès à Tibhirine difficile, car il était entravé par de nombreux barrages militaires.
Aujourd'hui, la plupart des groupes armés sont dissous. Les nombreux massacres de civils commis par le GIA, jugés trop barbares par certains membres, vont mener en 1998 à la fondation du Groupe salafiste pour la prédication et le combat (GSPC), qui deviendra en janvier 2007 Al-Qaïda au Maghreb islamique (AQMI). AQMI cible les policiers, les militaires ainsi que certains touristes étrangers. Le GIA va se dissoudre de l'intérieur à petit feu, tandis que l'AIS ordonne un cessez-le-feu le premier octobre 1997 et est dissous officiellement en 2000 grâce à une loi d'amnistie du gouvernement de Bouteflika.
Suite aux manifestations de ces derniers mois en Algérie, le président algérien Abdelaziz Bouteflika a levé l'état d'urgence qui était en vigueur depuis 1992. AQMI est toujours présent, mais les massacres aveugles de civils ont stoppé depuis la disparition des autres groupes armés.