¿Por qué la IA tiene poca precisión a la hora de identificar el discurso de odio y el acoso?

Identificar el verdadero discurso de odio no es fácil debido a la flexibilidad y ambigüedad del lenguaje. A veces la gente simplemente dice algunas malas palabras de manera casual, pero eso no significa que realmente lo piensen así. En la vida diaria, las personas usan malas palabras por diversas razones, e incluso los amigos las usan entre sí.

Actualmente, los foros y otras plataformas en línea obtienen discursos de odio principalmente a partir de informes de usuarios. Los humanos no podemos seguir mirando un sinfín de comentarios negativos. A principios de este año, Google desarrolló el software Insight que puede identificar rápidamente comentarios abusivos y facilitar la revisión manual. Funciona basándose en similitudes entre los comentarios en línea y los comentarios etiquetados como "tóxicos". Pero entonces empezó a aparecer la inmadurez de la tecnología del software y el mecanismo de puntuación tenía muchos inconvenientes. Por ejemplo, algunos comentarios son "Como niña, eres muy inteligente", la similitud con los comentarios maliciosos alcanza el 18%; "Me gusta Hitler" es sólo un 2% de similitud. Di no a la violencia en línea: la IA no permite esconder el discurso de odio.

A diferencia de este método basado en etiquetas de palabras clave, el sistema desarrollado por investigadores canadienses adopta un enfoque diferente. El sistema se centra en el discurso dirigido a afroamericanos, personas obesas y mujeres. Los comentarios sobre estas personas abundan en Reddit o Voat (un sitio similar a Reddit). El equipo encontró dos de las comunidades más activas: una a la que le gustaba publicar malos comentarios y otra a la que le gustaba publicar comentarios amistosos. Utilizaron software de inteligencia artificial para conocer las características del habla de los miembros de las dos comunidades y mejorar la capacidad del sistema para identificar correctamente el discurso negativo.

Los resultados de la investigación muestran que este método es más preciso que el sistema basado en la anotación de palabras clave y casi no hay errores de juicio. Algunos comentarios no contienen insultos convencionales sino que son discursos de odio. Si no se pudo identificar con el método anterior, ahora se puede. Por ejemplo, "No veo nada malo en esto. Los animales se atacan entre sí todo el tiempo". Esta frase fue marcada como discurso de odio por el sistema porque la palabra "animal" aquí tiene la connotación de un insulto racial.