Comment l’intelligence artificielle peut-elle agir sur la toxicité des communautés en ligne?

Les communautés en ligne abondent aujourd’hui, sur les sites de réseautage social, sites Web de communautés du monde réel comme les écoles ou les clubs, sur le web forums, sur les forums de discussion des jeux vidéo, et même sur les pages de commentaires sites d’information et blogs. Certaines de ces communautés sont « saines » et discussion polie entre membres respectueux, mais d’autres sont « toxiques » et se transformer en combats virulents, à la traîne, à la cyberintimidation, à la fraude, ou même à la l’incitation au suicide, à la radicalisation ou à la prédation sexuelle et au toilettage des mineurs.

La détection des messages toxiques et des utilisateurs toxiques est un défi majeur, en partie parce qu’ils sont des utilisateurs contradictoires qui tentent activement de contourner ou logiciels de détection et filtres. En outre, alors que beaucoup de recherches dans le la littérature s’est penchée sur les communautés en ligne (par exemple dans la normalisation du texte pour corriger les mots mal orthographiés, dans la détection des sentiments pour déduire l’humeur de utilisateurs, ou dans la modélisation utilisateur pour reconnaître les différentes personnalités des utilisateurs), la plupart d’entre eux ont supposé que les utilisateurs collaborent plutôt que délibérément essayer de détourner le logiciel.