La inteligencia artificial (IA) es un arma de doble filo, como se está constatando cada vez más en las redes sociales. Desde que Google presentó hace unas semanas el nuevo sistema Veo 3 para generar vídeos con voz sincronizada, solo era cuestión de tiempo que se le empezara a dar mal uso.
Un informe de Media Matters confirma que las redes sociales se están llenando de vídeos de odio y los algoritmos lo están premiando, a pesar de que plataformas como TikTok, ya se están pronunciando en contra, advirtiendo en sus términos que no recomendará ningún tipo de contenido discriminatorio. “Aplicamos de forma proactiva normas estrictas contra el discurso y el comportamiento de odio”, señalan fuentes de TikTok.
Los vídeos en cuestión están hechos con la tecnología de Veo 3, la IA de Google accesible públicamente que permite generar clips hiperrealistas. En ellos se pueden ver monos que representan personas de raza negra y personas negras desviviéndose por comer sandía (alimento que le encanta a los primates). También se han visto creaciones antisemitas y contra los asiáticos.
En Neo hemos podido contrastar que Google lleva a cabo evaluaciones de sus modelos que valoran los riesgos relacionados con la seguridad, el sesgo y la discriminación, con todo tipo de filtros de seguridad. Incluso aplican marcas de agua invisibles para dar trazabilidad a los vídeos.
El problema es que en Google hacen lo posible por respetar al máximo los prompts, lo cual puede entrar en conflicto con contenidos potencialmente ofensivos para determinados colectivos. Y peor todavía, cuando hay segundas lecturas de por medio.
Por ejemplo, si no supiéramos que a los esclavos africanos de EEUU se los alimentaba con pollo frito y sandía, no veríamos nada de malo en ver que una persona de raza negra disfruta comiendo sandía. Hay casos muy evidentes, pero en otros casos los gags indirectos se escapan de cualquier filtro. De hecho, ni siquiera muchas personas que no tienen este conocimiento lo detectarían.

Orangutanes comiendo pollo frito, en un vídeo racista.
Picaresca ante la censura de la IA
Cuando la broma está en tu cabeza
Cuando la broma está en la cabeza de quien ve el vídeo, y las imágenes son solo un detonante para hacerla estallar, es muy difícil que funcione ningún filtro. El concepto racista solo adquiere su forma si se completa con nuestro bagaje cultural. ¿Puede tener un modelo de lenguaje generativo el acerbo necesario para captar tales indirectas? Sí, y lo tendrá, probablemente porque habrá aprendido de los vídeos que ya han escapado de su control. Así, la IA va tapando agujeros por donde se le cuelan los contenidos inadecuados y, mientras lo hace, otros se le van abriendo. El juego del gato y el ratón.