¿Por qué los algoritmos de Tik Tok muestran contenido violento y misógino a los chicos adolescentes?

Andrew Kaung trabajó como analista de seguridad del usuario en Meta y posteriormente en TikTok, de diciembre de 2020 a junio de 2022, y en una entrevista a la BBC en septiembre de 2024, explicó que mientras trabajaba tanto en Meta como en TikTok comprobó que los algoritmos, en su objetivo de mantener la atención de los usuarios la mayor cantidad de tiempo posible, estaban mostrando contenido violento, pornografía y discursos misóginos a los chicos adolescentes.

Las redes sociales utilizan herramientas de Inteligencia Artificial para eliminar la gran mayoría de contenido dañino y también con el objetivo de marcar otros contenidos para que los revisen moderadores humanos, independientemente de la cantidad de vistas que hayan tenido. Pero las herramientas de IA no pueden identificar todo. Andrew Kaung dice que durante el tiempo que trabajó en TikTok, todos los vídeos que no fueron eliminados o marcados para moderadores humanos por IA, o los que no fueron reportados por otros usuarios a moderadores, solo se revisaban de forma manual si alcanzaban 10.000 vistas o más.

Cuando trabajó en Meta entre 2019 y diciembre de 2020, el problema era diferente. Si bien la mayoría de los vídeos fueron eliminados o marcados para moderadores humanos por herramientas de IA, la plataforma dependía de que los usuarios denunciaran los vídeos una vez que ya los habían visto. Planteó sus inquietudes mientras estaba en ambas empresas, pero se encontró con una gran inacción debido a los temores sobre la cantidad de trabajo o el coste que supondría hacerlo. Aunque posteriormente se hicieron algunas mejoras en TikTok y Meta, Andrew decía que siempre va a haber menores en riesgo.

Atención e interacción

Según el regulador británico Ofcom, los algoritmos de las principales empresas de redes sociales han estado recomendando contenido dañino a los menores aunque no lo hicieran intencionadamente. El objetivo de los algoritmos es la atención y la interacción, independientemente de si esta es positiva o negativa. Buscan retener a los usuarios la mayor cantidad de tiempo posible y que los usuarios interactúen lo máximo posible en las plataformas.

Cuando alguien se crea una cuenta en una red social, el primer paso para los usuarios es especificar algunos gustos e intereses. Andrew Kaung dice que parte del contenido que inicialmente ofrecen los algoritmos, por ejemplo a un joven de 16 años, se basa tanto en las preferencias que da como en las preferencias que han mostrado otros usuarios de una edad similar en una ubicación similar.

TikTok dice que los algoritmos no se basan en el género de un usuario a la hora de mostrar contenido, pero los intereses que expresan los adolescentes cuando se registran a menudo tienen el efecto de dividirlos en líneas de género. Según el antiguo empleado de TikTok, algunos chicos de 16 años podrían estar expuestos a contenido violento “de inmediato” porque otros usuarios adolescentes con preferencias similares han expresado interés en este tipo de contenido.