Je suis souvent surprise des fantasmes que véhicule la profession de modératrice/modérateur, comme cet article qui dit « Si les plateformes investissent beaucoup dans l’automatisation de la modération de leurs plateformes, l’apport d’un contrôle humain reste déterminant dans la précision et la cohérence de cette modération. » ou encore « Une partie de cette modération est assurée par de l’intelligence artificielle - ce qui mène parfois à des cas de censure injustifiés - tandis qu'une autre partie de la modération est réalisée par des individus employés uniquement pour cette mission : les modérateurs. »
Je me propose donc d’essayer de répondre aux questions qui me sont le plus fréquemment posées sur ce métier.
Je l’ai exercé 20 ans ; de 2001 à 2021. J’ai travaillé pour une entreprise de modération prestataire pour des entreprises françaises et des média (presse écrite, télévision, radio..).
En préambule, un avertissement. Je vais décrire des images et des commentaires violents (de la pédocriminalité par exemple). Je paraitrais peut-être moi-même violente dans la façon d’en parler ; nous en parlerons dans la partie sur les conséquences psychiques de la modératrice. Je m'en excuse à l'avance si cela vous met mal à l'aise ; je n'arrive plus bien à estimer la façon dont il faut parler des contenus illégaux.
Définition.
un modérateur va rejeter ou valider des contenus postés sur une plate-forme, un réseau social, un site. Le contenu peut être modéré a posteriori ; c’est-à-dire qu’il est publié et qu’on va le dépublier s’il contrevient à la charte du site. Il peut être modéré a priori (cela devient très rare) ; votre commentaire n’apparaitra que si un modérateur le valide.
Dans les entreprises dédiées à la modération, nous ne travaillons pas sur les sites eux-mêmes. Prenez la page facebook du Monde. Il serait impossible de contrôler tous les commentaires postés sous chaque article. Les entreprises vont donc créer leur propre plate-forme de modération, récupérer les flux de contenus postés qui seront modérés directement sur la plate-forme dédiée.
Une chose est intéressante à noter. En 2000, personne n’en avait rien à faire des espaces de commentaires. Et paradoxalement les entreprises de modération signaient des contrats très lucratifs. Au fur et à mesure qu’il y a eu de plus en plus de commentaires, de viralité, le budget dédié à la modération a diminué (je parle ici des entreprises françaises qui vont appel à des boites de modération, je n’ai aucune idée de l’évolution du budget de FB, twitter ou autres à ce sujet). Aujourd’hui nous modérons pour des sommes minimes. Les modérateurs sont souvent des auto entrepreneurs français mais aussi des malgaches, des sénégalais ou des marocains payés au salaire minimum dans leur pays.
« Je ne sais pas comment tu peux faire ce métier ».
Je vous rassure, je ne le sais pas non plus. Cette phrase, que j’ai entendue un nombre incalculable de fois m’a toujours choquée. J’oscille entre le « mon dieu tu as raté ta vie à ce point pour faire un métier pareil » jusqu’à « moi je suis trop sensible alors que toi c’est connu tu es costaude comme une cathédrale ». Personne ne choisit de faire un boulot de merde parce qu’'il rêvait de cliquer 5000 fois par jour. Ou parce qu’il avait l’envie de lire des propos racistes, sexistes et de voir des photos de cadavres. On le fait pour différentes raisons, par absence de choix mais certainement pas par vocation.
Combien modérez-vous de contenus par jour ?
Il est difficile de répondre à cette question.
Sur du contenu texte, avec un texte faisant la longueur du paragraphe précédent, je dirais 500 par heure. Sur un texte faisant la longueur d’un twit, je pense qu’on monte à 1000 par heure. Sur de l’image simple c’est évidemment bien davantage. Je dirais 4 secondes par image, je vous laisse faire le calcul
« La modération automatique c’est le mal »
La modération automatique est le fait qu’une machine modère à la place d’un humain. Je vais par exemple lancer une routine pour que tous les commentaires contenant le mot « carotte » soient rejetés.
La modération automatique, est, évidemment, configurée par des êtres humains.
Il y a donc deux raisons pour laquelle elle fonctionne mal :
- elle a sciemment été mal configurée. Sur la plupart des RS, le terme « pd » est rejeté. Il est difficile de savoir s’il l’est par défaut ou sur alerte (quelqu’un alerte un message, le message alerté va être contrôlé par un humain ou automatiquement). Mon hypothèse est que les RS combinent les deux méthodes. Ils vont à la fois contrôler une partie des messages alertés et contrôler de manière aléatoire des twits contenant des mots considérés, selon eux, comme à risque. Dans le cas du mot « pd », le calcul a été simple. Ils ont estimé (je dis un chiffre au hasard) que dans 80% des cas, l’emploi de ce terme est homophobe. Ils ne font pas de détail, ils rejettent tout. La consigne serait donc la même si les twits étaient modérés par un humain puisque, rappelons-le, c’est bien un humain qui a configuré l’algo de rejet.
- elle a été employée alors que l’algo n’est pas assez développé pour bien gérer les choses.
Prenons un cas concret.
Deux potes parlent ensemble sur un réseau social et se vannent. L’un dit à l’autre « haha va crever » après une énième vanne.
Un homme dit à un militant antiraciste « j’espère que tu vas crever ».
Vous constatez ici qu’il y a deux contextes totalement différents. Dans de très nombreux cas, l’intelligence artificielle, correctement alimentée est capable de faire ce qu’on appelle « l’analyse de sentiment ». Elle peut donc interpréter le premier message comme inoffensif et le deuxième comme ne l’etant pas. Elle pourrait d’ailleurs totalement le faire dans le premier cas également et laisser en ligne tous les commentaires où le terme « pd » n’est pas employé de manière homophobe. La modération automatique n’est ni bonne ni mauvaise ; c’est sa mauvaise configuration, son sur emploi dans des situations où elle ne peut l’être qui le sont. Profitons-en pour signaler que les décisions qui précèdent les choix de modération ne sont pas neutres ; choisir de bannir les termes « pd », « lesbienne » n’ont pas été des choix neutres idéologiquement puisque personne, ayant une bonne connaissance des réseaux sociaux (ce qui est tout de même a priori le cas) ne pouvait ignorer qui cela allait pénaliser prioritairement : les homophobes se contrefoutent de cette sanction vous remarquez qu’aucun ne s’est jamais plaint de ne pouvoir employer ces termes. Les décisions prises ont été homophobes, et ce sciemment. (j’ai pris cet exemple mais il existe bien d’autres cas en termes de sexisme, de racisme etc).
La modération automatique ne produit pas plus d’erreurs, si bien utilisée, qu’un modérateur humain. Je vous défie de voir plusieurs milliers d’images par jour, des milliers de commentaires sans avoir l’esprit qui vagabonde et laisser passer une horreur. Qui plus est la modération automatique modérera toujours de la même façon car elle n’a pas d’émotions (je reviendrai sur ce point dans la partie sur la désensibilisation).
La modération automatique permet une rapidité que n’aura jamais un humain. Je vais prendre un exemple concret qui s’est déroulé le 14 juillet 2019. Ce jour là une jeune fille Bianca Devins est assassinée par un homme qui va poster sur Discord et Instagram la photo de son cadavre. Très rapidement la photo est devenue virale. Des comptes se créaient à la chaine pour la diffuser. Beaucoup de comptes qui ont alerté cette photo, ont reçu des messages indiquant qu’elle n’enfreignait aucun standard. Les photos ont été envoyées à la mère de la jeune fille. Des mêmes ont été créés.
J’estime à l’heure actuelle qu’il faut moins de 3 à 5 minutes pour qu’un contenu devienne viral. C’est vous dire si les gouvernements sont à côté de la plaque lorsqu’ils parlent d’obliger les plates-formes à intervenir dans les 24 heures.
Et pourtant.. la technologie permet désormais de faire de l’assez bonne reconnaissance d’image. Nous savons reconnaitre les personnes sur un photo, nous savons aussi reconnaitre le sang. Les photos de Bianca Devins étaient donc très facilement identifiables et supprimables… et ce de manière complètement automatique.
Essayons d’imaginer ce que fait un modérateur sur instagram par exemple. Il reçoit sans doute des milliers d’alertes classées par priorité. La priorité 1 est sans doute les revendications terroristes, vient la pédo ensuite, puis enfin les images violentes de toutes sortes. Là où il mettra 2 secondes par image, une machine en mettra 1000 fois moins.
L’autre intérêt de la modération automatique est que si elle permet de préserver les humains de propos, vidéos et images degueulasses alors elle doit être employée. Je ne suis pas du tout spécialiste de la reconnaissance d’images mais j’imagine qu’il est possible dans un grand nombre de cas d’identifier des images pédocrim de manière automatique. Si cela peut préserver le modérateur, autant s’en servir.
Les conséquences psychologiques de la modération
Il est difficile de répondre à cette question. Il y a deux jours quand j’en ai parlé sur twitter, deux personne me disent se souvenir avec horreur de la fois où elles sont tombées sur de la zoophilie. Je me suis rendue compte que je ne me souviens pas de ma « première fois » (si je peux le dire ainsi !). Je n’ai aucune image en tête. Soit mon psychisme fonctionne bien et il évacue ce qui est trop insupportable, soit je ne sais pas.
Voici ce qui est pour moi difficile :
- l'impuissance. Au-delà de la sidération que peut provoquer une image pédocriminelle par exemple, vous devez accepter que le sort de l’enfant n’est pas entre vos mains. Il n’est pas possible de se demander si elle est désormais en sécurité ; sinon cela vous bouffe.
Je vais vous raconter une anecdote assez parlante. Nous sommes en 2007 et une toute petite fille Madeleine McCann disparait. Sur un media français, apparait un homme qui se fait alternativement appeler Emile Louis ou Marc Dutroux qui développe ses fantasmes pédophiles et nécrophiles autour cette petite fille. Ce sont des fantasmes particulièrement élaborés. Nous sommes avant Pharos ; je ne me souviens donc plus à qui nous l’avons signalé. La police nous dira à l’époque qu’ils n’ont pas retrouvé sa trace ; il était bien caché derrière des pares-feux. Des trolls j’en ai vus beaucoup. Une année des gamins avaient investi le forum de la star academy pour insulter les candidats. On les avait bannis ; pour se venger, ils avaient fait un raid de photos gore et pédos. C’est immonde, tout ce que vous voulez, mais cela ne ressemblait en rien à ce que postait cet homme qui glaçait littéralement le sang. J’ai longtemps pensé que c’était d’ailleurs lui l’assassin de cet enfant. Et je me demanderais toujours s’il est passé à l’acte ou pas ; je sais que j’ai fait ce que je pouvais faire mais je n'ai pas oublié 14 ans après ses propos.
- la désensibilisation. Pour être modérateur, vous devez vous désensibiliser. Sinon vous démissionnez ou consommez des substances anesthésiantes. Nous avons eu, longtemps, un type qui, tous les matins nous postait une centaine de photos zoophiles. Vous vous levez, attaquez votre tartine devant des chevaux et autres taureaux. Alors oui vous relativisez. « ca va c’est un chien cette fois là ouf c’est moins gore ». « tiens celui là traite juste les femmes de connasses, il ne veut pas les violer ouf ». C’est pour cela que je parlais aussi de la modération automatique parce qu’un bot lui, ne sera pas désensibilisé. Je me rends compte que des images de violence ne me font pas grand chose et je ne sais pas si cela est normal ou pas. Je me dis "ok y'a pire", pas par bravade mais parce que je me dis que j'aurais pu tomber sur bien pire oui. On s'anesthésie peu à peu. Ce n'est pas qu'on trouve cela pas grave ; juste cela ne nous touche plus émotionnellement. J'ai une anecdote là encore. On est en 2018 et le coureur cycliste Lance Armstrong a un accident de vélo. Il y a beaucoup de commentaires haineux en disant que "ce dopé l'a bien mérité". Je me mets à pleurer alors qu'objectivement je n'en ai rien à faire de cet homme, j'ai quand même lu bien pire comme vous avez pu le constater. Je crois que c'est là que je me suis rendue compte (je suis longue à la détente) que mon référentiel émotions était un peu pété. Je n'arrivais plus à m'émouvoir devant des choses objectivement atroces et je fondais en larmes devant un propos con mais pas dramatique.
- la haine qui se rajoute à la haine. Ce qu’il y a de difficile pour un modérateur est aussi de supporter la haine lors d’une situation qui l’est déjà excessivement.
Lors des attentats de 2015, la modération dégueulait de propos haineux à l’égard d’à peu près tout le monde. Si cela vous intéresse j’avais été interrogée dans Les pieds sur Terre sur le 13 novembre ; j’ai longtemps refusé de partager ce reportage car ma demande que mes pleurs soient coupés n’a pas été respectée mais je me dis qu’il y a désormais prescription
- les évènements heureux qui deviennent un enfer. Le 17 ai 2013 a été définitivement votée la loi sur la mariage pour tous. Cet évènement si heureux s’est transformé pour tous les modérateurs en une fosse septique de saloperies homophobes. Et c’est ca qui devient si étrange. Un président noir ? Ca va être l’horreur au boulot. Une féministe qui parle dans telle émission ? Ca va être l’horreur au boulot. Le mariage pour tous ? Ca va être l’horreur au boulot. Et vous voilà dans un entre deux où vous souhaitez que certaines choses arrivent mais que cela vous vaudra aussi de sacrées journées très difficiles.
- l’incapacité de faire un bon travail. Imaginez-vous nettoyer des toilettes ou des gens ont eu la gastro du siècle. Vous avez un coton tige pour le faire, et des gens continuent à rentrer car ils ont eux aussi la gastro. La modération est du travail à la chaine qui ne s’arrête jamais. Vous ne pouvez pas vous dire « j’ai fini c’est propre ». C’est très frustrant. Lorsque vous allez faire pipi, les commentaires continuent à affluer. Alors vous n’allez pas faire pipi. Vous en voulez à l’équipe précédente qui n’a pas pu gérer un évènement qui a généré des centaines de milliers de commentaires et vous vous en voulez de n’avoir pas pu à votre tour gérer pour laisser un plan de travail vaguement propre à l’équipe suivante. (dans les boites de modération professionnelles on modère 24/24 , 365 jours par an ; on a donc des équipes qui couvrent toute la journée). La difficulté en modération c’est que vous ne pouvez pas anticiper les choses. Lorsqu’on apprend le 15 mai 2011 au matin que DSK a été arrêté au New York, on n’a pas la possibilité d’anticiper, on ne peut pas faire venir la totalité des salariés pour travailler (qui en plus ne suffiraient pas). Et c’est en permanence ainsi puisque, par définition, l’actualité ne prévient pas. Donc vous vous prenez des tsunami de commentaires, vous modérez vite, trop vite (parce que plus la haine reste en ligne, plus elle en génère) donc vous faites de la merde, donc vous êtes mécontent de vous. C’est un cercle infernal.
Voilà j’espère avoir répondu à l’ensemble des questions ; n’hésitez pas si vous en avez d’autres. J'espère vous avoir donné envie de faire ce si beau métier :p
Jeu de briques
Snake
Pacman
Bubble