¿Pueden las máquinas reemplazar las relaciones humanas? El peligro invisible de los chatbots de IA

En febrero de 2024, Sewell Setzer III, un adolescente de 14 años, tomó la trágica decisión de suicidarse con la esperanza de reunirse con Daenerys Targaryen, su personaje favorito de 'Juego de Tronos'. El joven creía que hablaba con ella cuando en realidad era un chatbot de IA de la plataforma Character, con la que interactuaba a diario. Este caso estremeció al mundo y provocó la interposición de una demanda por parte de la madre contra la plataforma, acusándola de no proteger adecuadamente a su hijo. La historia de Sewell refleja una realidad cada vez más común; el uso de chatbots de inteligencia artificial para acompañar a personas solas o vulnerables.

Las plataformas de chatbots de IA para acompañamiento prometen ofrecer soporte emocional, actúan como "amigos" o incluso como parejas virtuales, brindando la ilusión de relaciones humanas profundas. Sin embargo, expertos en psicología y tecnología advierten sobre los peligros de estos sistemas, especialmente para menores, ya que no poseen conciencia ni la capacidad de empatizar, lo que las convierte en herramientas potencialmente engañosas y peligrosas.

Falta de control e implicaciones para menores

Uno de los mayores problemas con estos chatbots es que, a pesar de las restricciones de edad en sus términos y condiciones, muchos de estos sistemas no realizan verificaciones efectivas de la edad de sus usuarios.

De acuerdo con un análisis realizado por Maldita.es, de las seis plataformas más populares, ninguna aplicaba un control de edad estricto. Esta falta de regulación permite que menores de edad, como Sewell, accedan a estos sistemas sin supervisión ni protección adecuada.

Pop-up al iniciar sesión en Candy.AI, una web que ofrece novias IA y contenido pornográfico. Para confirmar la edad solo piden hacer click en el botón ‘Soy mayor de 18-Continuar’. Maldita.es

En la plataforma Character.AI, por ejemplo, los menores pueden crear una cuenta a partir de los 13 años fuera de la Unión Europea y 16 años dentro de la región, aunque no se les avisa explícitamente de que están interactuando con una IA.

Aunque algunas plataformas, como Replika, incluyen un mensaje de advertencia, otras, como Nomi.AI y EVA, niegan ser IA cuando se les pregunta directamente. Esto plantea un grave riesgo, ya que los menores pueden no ser conscientes de que están interactuando con un sistema automatizado, lo que puede distorsionar aún más su percepción de las relaciones interpersonales.

Los chatbots de Nomi.AI y Eva AI niegan ser una inteligencia artificial cuando se les pregunta. Maldita.es

La regulación y el futuro de los chatbots de IA

El uso de chatbots de IA para el acompañamiento ha crecido rápidamente en los últimos años, y se espera que continúe en auge. Sin embargo, este fenómeno plantea serias preocupaciones sobre la ética y la seguridad. La Ley de Inteligencia Artificial (AI Act) de la Unión Europea, que se implementará en 2026, exige que las plataformas informen a sus usuarios de que están interactuando con una IA. Si no cumplen con este requisito, las plataformas podrían enfrentarse a multas de hasta 15 millones de euros o el 3% de su facturación anual. Sin embargo, los expertos consideran que estas medidas no son suficientes.

Mònica Casabayó, profesora de ESADE, destaca que el simple aviso de que se está interactuando con una IA no es suficiente para evitar daños. "Es crucial que los menores reciban una educación digital adecuada que les permita identificar las interacciones humanas de las simuladas por IA", señala. La educación digital es, por tanto, esencial para prevenir los peligros de estos sistemas, sobre todo en una era en la que los jóvenes están cada vez más inmersos en entornos virtuales.

La importancia de las relaciones humanas

Más allá de la regulación, los expertos coinciden en que la clave para mitigar los efectos negativos de los chatbots de IA radica en promover las relaciones humanas reales. "Cuando nos sentimos solos, lo que necesitamos es socializar, cambiar los comportamientos que nos aíslan", afirma la psicóloga Aurora Gómez a Maldita.es. Según ella, el uso excesivo de chatbots solo oculta el problema, en lugar de resolverlo, ya que impide que los usuarios desarrollen habilidades socioemocionales cruciales.

El caso de Sewell Setzer III, aunque trágico, pone en evidencia los riesgos de una dependencia emocional de las máquinas. "Parecer humanos y comportarse como humanos no los convierte en humanos", advierte Casabayó. Es fundamental que los usuarios, y en particular los menores, comprendan que la IA no puede sustituir el valor y la autenticidad de las relaciones humanas.