Detector de mensajes discriminatorios en proceso

- TECH PEOPLE

Detector de mensajes discriminatorios en proceso
Detector de mensajes discriminatorios en proceso

La identificación de contenido explícito o implícito que fomente el odio hacia minorías es una posibilidad cercana, gracias al trabajo de un investigador salteño. Es un desarrollo con Inteligencia Artificial sobre el cual despliega su labor en estos días Benjamín Ocampo. El científico está a punto de pasar a la siguiente fase del proyecto, la que permitirá replicar a dicha prédica tóxica, pero antes repasamos esta primera novedad.


#Botdetolerancia

El salteño Benjamín Ocampo desarrolló un programa de Inteligencia Artificial capaz de detectar mensajes subliminales de odio en Internet. El joven está cursando un doctorado en la Universidad de la Costa Azul (Francia) y allí entrenó un algoritmo al que asignó la misión de identificar dicho contenido perjudicial.

Mediante la I.A., Ocampo afirmó estar en condiciones de señalar metáforas, dobles sentidos, circunloquios y otros mensajes subliminales ofensivos, dirigidos hacia minorías, en redes sociales y foros de debate. El investigador especificó que estos ataques  hacia “un individuo o a un grupo de personas” y están basados “en características protegidas”, dijo al comenzar la semana al portal Hoy Día Córdoba.  

Cabe precisar que la alusión a “características protegidas” se refiere a diversos aspectos de sectores minoritarios, ligados a la fisonomía, la religión u orientación sexual, como también a género, discapacidad o el origen geográfico. Si bien existe consenso respecto a las variables en resguardo, éstas “varían un poco entre definición y definición”, de acuerdo a la red social, el foro o el contexto de comunicación y según las condiciones estatales o empresariales para la regulación. O en todo caso, se encuentran supeditadas a la aceptación de los usuarios a tales filtros. 

Aunque, explicó Ocampo que “un mero insulto de una persona a otra persona no sería un discurso de odio. Pero si ese insulto fuera con referencia a alguna de estas características, sí pasaría a ser un discurso de odio”. En su trabajo, el investigador centró su evaluación en el foro estadounidense “White Supremacy”. Allí, un usuario se preguntaba de manera retórica si estaba “en North Florida o en Nigeria” y aducía que “algunas veces no puedo encontrar la diferencia”.

El que “viene a ser un mensaje implícito” con objetivo segregacionista. Equivale, argumentó Ocampo, a decir: “mirá, ya no puede reconocer mi propia ciudad porque se llenó de gente de otra nacionalidad”. Para su tarea, el científico utilizó una base de datos -o dataset- con agresiones explícitas, implícitas e insultos, a partir de los cuáles adiestró a un “clasificador” (una función matemática automatizada) en la detección de mensajes de odio subliminales, distinguiéndolos de las otras posibilidades.     

Al respecto, detalló que “una vez que vos detectaste un discurso de odio, nosotros lo que queríamos proponer era que, automáticamente, se genere una respuesta informativa, que contra argumente al discurso de odio”. Frente a lo que sería posible replicar que “resulta que no es así, aquellos países que tienen una inmigración más libre, que reciben a los inmigrantes con las puertas abiertas, terminan siendo más prósperos, tienen una vida mucho más rica por X e Y razones’. Ese es el objetivo de una contra narrativa: dar un argumento con el cual se contrarreste el discurso de odio”.

En pleno desarrollo de esta capacidad de respuesta, Ocampo (*)  la encuadró como un mecanismo de refutación basado en evidencia científica. Pues “lo que se busca es intentar cambiar la opinión de las personas, de alguna manera. Decir: ‘Mira, bueno, no pongas este tipo de contenido’”, proyectó el investigador nacido en Salta.

Sobre el escenario electoral en desarrollo en nuestro país, Ocampo fundamento que de manera preliminar solamente pudo apreciar intercambio entre candidatos en materia de rótulos referidos a tal o cual que usa este tipo de mensajes. Es decir, con una intención menos marcada en comparación a lo que ocurre en Estados Unidos o en Europa.

En líneas generales, el equipo que integra Ocampo construyó para este trabajo la mencionada base de datos, basada en tres categorías que nutrió con ejemplos de mensajes de odio explícitos, mensajes de odio implícitos e insultos que no se condicen con las otras dos categorías. Con ello, programaron una función matemática que fue entrenada con esos ejemplos para detectar, diferenciar y construir discursos de odio implícitos.

Este modelo, aplicado sobre los distintos mensajes de una red social o un foro de internet, es capaz de encontrar las sutilezas de los mensajes ocultos en los matices que propone el lenguaje natural humano, tales como metáforas, circunloquios y otras variantes retóricas.

(*) Nacido en Salta hace 24 años, Ocampo se  graduó en la Universidad Nacional de Córdoba como licenciado en Ciencias de la Computación. Actualmente realiza un doctorado en la Université Côte d’Azur, en Francia.

Crédito fotográfico: Hoy día Córdoba.

NdR, 8 de agosto de 2023. 

Este artículo está optimizado para dispositivos móviles.
Leer Versión Completa