Así vas a poder detectar los sesgos que la IA te quiere colar en sus respuestas

Uno de los principales problemas a la hora de buscar repuestas en un modelo de inteligencia artificial (IA) es el de los sesgos políticos, de género o xenófobos que pueda mostrar.

Estos programas generativos se entrenan con una gran cantidad de datos extraídos de páginas web, foros, redes sociales y otras fuentes que, intencionadamente o no, pueden inducir diferentes sesgos dañinos o discriminatorios en sus respuestas.

Para luchar contra este problema, investigadores de la Universitat Oberta de Catalunya (UOC) y de la Universidad de Luxemburgo han desarrollado LangBiTe, un programa open source (de código abierto) que evalúa si estos modelos están libres de sesgos y cumplen con las regulaciones vigentes sobre no discriminación.

Las IA buscan poder funcionar como un cerebro humano real procesandos miles de datos. Freepik

No a la discriminación

“El objetivo de LangBiTe es servir como recurso útil que contribuya a detectar y mitigar los sesgos de los modelos y ayude a tener mejores IA”, explica Sergio Morales, investigador del grupo SOM Research Lab de la UOC

LangBiTe se diferencia de otros programas similares por su alcance. Se trata de la herramienta “más completa y detallada” que existe en la actualidad, según sus creadores. “La mayoría se centraban en la discriminación de género hombre-mujer, sin considerar otros aspectos éticos importantes o minorías vulnerables. Con LangBiTe hemos comprobado hasta qué punto algunos modelos de IA pueden responder a ciertas cuestiones de forma racista, desde un punto de vista político parcial, o con connotaciones homófobas o tránsfobas”, explican.

Flexible y adaptable

El nuevo programa permite analizar si una aplicación o herramienta que incorpora funciones basadas en modelos de IA se adapta a los requisitos éticos o comunidades de usuarios concretos de cada organismo. “LangBiTe no prescribe ningún marco moral particular. Lo que es ético y lo que no depende en gran medida del contexto y la cultura de la organización que desarrolla e incorpora características basadas en modelos generativos de IA”, explican los investigadores.

Con este objetivo, LangBiTe incluye bibliotecas con más de 300 prompts –instrucciones o preguntas para interaccionar con la IA– destinados a revelar sesgos en los modelos, cada una de ellas especializada en una área particular: edadismo, LGBTIQA-fobia, preferencias políticas, prejuicios religiosos, racismo, sexismo y xenofobia. Cuentan con respuestas asociadas para valorar la respuesta del modelo. También incluye plantillas de prompts modificables que permiten al usuario ampliar y enriquecer la colección original.

Más que ChatGPT

LangBiTe proporciona acceso a los modelos propietarios de OpenAI (GPT-3.5, GPT-4) y otras decenas de modelos de IA generativa disponibles en Hugging Face y Replicate, que son plataformas que facilitan interactuar con gran variedad de modelos como los de Google y Meta. “Además, cualquier desarrollador interesado puede extender la plataforma LangBiTe para evaluar otros modelos”, añade Morales.

El programa también permite comprobar en todo momento la diferencia entre respuestas de distintas versiones de un mismo modelo y entre modelos de distintos proveedores. “Por ejemplo, vimos que la versión disponible de ChatGPT 4 tenía una tasa de éxito de pruebas contra el sesgo de género del 97%, mayor a la obtenida por la versión disponible en aquel momento de ChatGPT 3.5, con un 42% de éxito.

Análisis multimedia

También están trabajando para ser capaces de analizar modelos que generan imágenes como Stable Diffusion, DALL·E y Midjourney. “La actual aplicación de estas herramientas va desde la elaboración de libros infantiles hasta el acompañamiento de noticias, lo que puede llevar a la propagación de estereotipos tergiversadores o dañinos, que obviamente la sociedad está interesada en erradicar. Esperamos que el futuro LangBiTe sea útil para detectar, y apele a corregir, cualquier tipo de sesgo presente en imágenes generadas por estos modelos”, destaca el investigador de la UOC.

Cumple con la AI Act de la UE

Las características de esta herramienta pueden ayudar a cumplir con la reciente Ley de Inteligencia Artificial de la Unión Europea (EU AI Act), cuyo cometido es velar por que los nuevos sistemas con IA promuevan el acceso equitativo, la igualdad de género y la diversidad cultural, y que nunca su uso comprometa los derechos de no discriminación estipulados por la Unión y las leyes de cada país miembro.

Así, LangBiTe ya ha sido adoptado por instituciones como el Luxembourg Institute of Science and Technology (LIST), que lo ha integrado para ONevaluar varios modelos de IA generativa populares.