L'intelligence artificielle a lu les commentaires agressifs des utilisateurs de Reddit et a compris comment les gens qui détestent les autres parlent. Il est plus difficile de le tromper qu'un modérateur de bot ordinaire.
Internet est habité par des trolls gras et maigres et juste des gens impolis qui ne vont pas dans leurs poches pour trouver des mots. La modération manuelle d'Internet est un travail difficile et ingrat. Les robots programmés pour rechercher des mots dans la "liste interdite" font mieux, mais ils ne peuvent pas savoir quand un commentaire caustique avec des mots de code est une blague inoffensive, et quand il s'agit d'une attaque verbale maléfique.
Des chercheurs canadiens ont appris à l'intelligence artificielle à distinguer les blagues grossières des blagues blessantes et ce que les sociologues appellent le «discours de haine».
Dana Wormsley, l'un des créateurs de l'IA, note que le «discours de haine» est difficile à formaliser. En effet, les mots formellement offensants peuvent être utilisés à la fois avec ironie et dans leurs significations plus douces; seuls certains des textes contenant de tels mots incitent et humilient sérieusement. Nous ne donnerons pas d'exemples, car les organisations gouvernementales qui régulent Internet en Russie n'ont pas encore d'intelligence artificielle).
Le réseau de neurones a été formé sur des échantillons de déclarations de membres de la communauté connus pour leur hostilité envers différents groupes de la population. Le réseau de neurones a appris des publications de Reddit, une plate-forme où vous pouvez trouver une grande variété de groupes d'intérêt, des militants des droits civiques aux misogynes radicaux. Les textes téléchargés sur le système insultaient le plus souvent les Afro-Américains, les personnes en surpoids et les femmes.
Un réseau neuronal formé de cette manière a donné moins de faux positifs que les programmes qui déterminent le «discours de haine» par mots-clés. Le système a attrapé le racisme là où il n'y avait aucun mot indicateur. Mais malgré les bonnes performances, les créateurs du modérateur d'IA ne sont pas sûrs que leur développement sera largement utilisé. Jusqu'à présent, elle a réussi à trouver un discours de haine sur Reddit, mais on ne sait pas si elle sera capable de faire de même sur Facebook et d'autres plates-formes. De plus, le système est imparfait: il passe parfois à côté de nombreuses déclarations racistes manifestement grossières qu'un moteur de recherche par mots clés ne manquerait pas. Le seul qui est capable de distinguer une insulte d'une blague innocente pendant que la personne reste.
