Google exploite l’intelligence artificielle pour combattre les trolls

Un nouvel API exploitant l’apprentissage automatique pour combattre le cyberharcèlement et les comportements abusifs en ligne est désormais à la portée de tous.

Jigsaw, une entreprise née de l’incubateur de Google, lance aujourd’hui Perspective, un API conçu en collaboration avec le géant de la recherche qui rassemble une collection d’outils visant à faciliter la vie des développeurs devant composer avec des trolls et des comportements abusifs sur leurs plateformes.

On estime que 72% des internautes américains ont déjà été témoins de cyberharcèlement, et près de la moitié en aurait été la cible. Le phénomène pousserait d’ailleurs un peu moins du tiers à s’autocensurer par crainte de représailles.

L’initiative est décrite par Jigsaw comme un nouveau pas lui permettant de se rapprocher de son objectif : offrir un environnement favorisant la discussion en ligne en éliminant le risque d’intimidation pouvant nuire aux plus vulnérables. En d’autres mots, mettre à mal les trolls. Le tout en se basant sur des décisions d’algorithmes.

«Imaginez que vous tentez d’avoir une conversation avec vos amis sur les nouvelles que vous avez lues ce matin, mais qu’après chaque fois que vous dites quelque chose, quelqu’un vous crie au visage, vous insulte, ou vous accuse d’un crime horrible», explique le président de Jigsaw, Jared Cohen, sur le blogue The Keyword de Google. «Probablement que vous quitteriez la conversation. Malheureusement, cela se produit trop fréquemment en ligne, alors que des gens essaient de discuter d’idées sur leurs sites d’actualité préférés, seulement pour se faire bombarder de commentaires toxiques.»

Selon les statistiques citées par Cohen, 72% des internautes américains ont déjà été témoins de cyberharcèlement, et près de la moitié en aurait été la cible. Le phénomène pousserait d’ailleurs un peu moins du tiers à s’autocensurer par crainte de représailles. Aux États-Unis seulement, on estime de 140 millions de personnes sont affectées par la cyberintimidation.

Afin de s’attaquer à ce problème, Perspective offre des outils permettant d’évaluer ce que l’entreprise décrit comme «le niveau de toxicité» d’un commentaire. L’API fonde ses décisions par un algorithme ayant été entraîné par une équipe humaine qui a analysé des centaines de milliers de commentaires en les classant sur une échelle de «très sain» à «très toxique». Dans ce contexte, un message jugé très toxique comprend des propos «grossier, irrespectueux ou déraisonnable qui risque de vous faire quitter une discussion.»

Un aperçu de l’information qui peut être transmise à l’auteur d’un commentaire abusif.

Bien entendu, le développeur exploitant les outils de l’API Perspective peut décider comment le jugement de l’algorithme sera appliqué. Il peut simplement choisir d’imposer la modération humaine sur les commentaires suspects. Mais surtout, il peut informer l’auteur du commentaire en question de l’impact potentiel de ses propos (lorsque celui-ci est détecté comme nuisible) au moment même de la rédaction – là où le nom «Perspective» prend tout son sens. Enfin, il est même possible de laisser aux visiteurs le soin de décider du niveau de toxicité auquel ils souhaitent être confrontés.

Parmi les médias partenaires ayant collaboré au développement de Perspective, on retrouve The New York Times, The Economist et The Guardian. L’encyclopédie communautaire Wikipédia a également participé à son élaboration.

Soulignons que le développement de Perspective s’inscrit dans le cadre de Conversation AI, un projet open source lancé par Jigsaw en septembre dernier.