Sewell Setzer, un estudiante de 14 años de Orlando (Florida), se ha quitado la vida recientemente para encontrarse con su amada virtual. La joven que se asomaba al otro lado de la pantalla, primero confidente, luego amiga y después amada, respondía al nombre de Daenerys Targaryen y estaba inspirada en el personaje de la popular serie de televisión Juego de Tronos.
La chica no pertenecía a este mundo, sino que era un chatbot (robot conversacional de inteligencia artificial) creado por un usuario de Character.AI. La familia del adolescente ha demandado a la empresa al considerar que este trágico suceso es consecuencia de la adicción del chico al robot; esta ha lamentado la pérdida y se ha comprometido a revisar sus protocolos de seguridad.
Un ordenador portátil con un chat desplegado en la pantalla.
Aplicaciones de compañía de IA
El caso de Sewell Setzer trae a un primer plano una industria que está en auge: las aplicaciones de compañía basadas en inteligencia artificial. Pese a que los avances tecnológicos nos permiten estar más interconectados que nunca con otras personas, lo cierto es que en la sociedad actual la soledad es una tendencia al alza.
La industria, ávida de satisfacer los deseos y las necesidades de los usuarios, ya ha visto un nicho de negocio en este ámbito y comienzan a proliferar este tipo de aplicaciones. Junto a la ya citada Character.AI, hay otras como Replika, Kindroid o Nomi que ofrecen unos servicios similares.
Pagando una cuota mensual de alrededor de 10 euros, los usuarios de este tipo de aplicaciones pueden combatir su soledad creando sus propios compañeros de IA o eligiéndolos entre un menú de personas ya creadas.
Cómo son los personajes
Los personajes que ofrece la IA pueden ser anónimos o estar basados en personajes históricos o famosos. Ofrecen la posibilidad de conversar con ellos a través de mensajes de texto o de voz como si de un novio/a o de un amigo/a se tratara.
Su aspecto humanizado les hace parecer tan reales que el usuario corre el peligro de acabar creyendo que habla con una persona de confianza.
Son unos chats superinteligentes con memoria; recuerdan conversaciones pasadas, se adaptan fácilmente al estilo de comunicación del usuario, hablan con fluidez sobre cualquier tema y su voz suena muy real. Si lo deseas, te pueden enviar hasta selfies.
Un hombre chatea en la oscuridad de su habitación.
Personas vulnerables
Los expertos aseguran que este tipo de aplicaciones de compañía basadas en inteligencia artificial no son peligrosas en sí mismas, pero sí pueden serlo para personas especialmente vulnerables como aquellas que sufren depresión, soledad crónica o algún tipo de trastorno mental.
Megan García, la madre de Setzer, señaló que a su hijo, que llevaba varios meses enganchado a Dany, como él llamaba cariñosamente a su amada virtual, le diagnosticaron de niño un trastorno del espectro autista leve, pero que nunca había tenido problemas graves de conducta ni de salud mental.
También reveló que a principios de este año, tras presentar importantes cambios en su comportamiento, le fue diagnosticado un trastorno de ansiedad y de desregulación disruptiva del estado de ánimo. El joven se había aislado por completo del mundo real, había perdido el interés por todo lo que le gustaba antes y pasaba horas encerrado en su habitación chateando.
García, en una entrevista reciente, denuncia que la empresa ha cometido "una imprudencia temeraria al ofrecer a los usuarios adolescentes acceso a compañeros de inteligencia artificial semejantes a ellos sin las debidas protecciones". Acusa a Character. AI de "recopilar datos de usuarios adolescentes para entrenar a sus modelos" y lamenta que "esto es un gran experimento y que mi hijo no es más que un daño colateral".
Prudencia
Los expertos, por su parte, se muestran prudentes y señalan que los efectos de este tipo de aplicaciones sobre la salud mental todavía no están probados, pero que elegir como compañero a un chatbot puede llevar sin duda al aislamiento. Además, advierten de que estos amigos virtuales, si en un momento dado necesitas ayuda de verdad, poco van a poder hacer por ti.
En este contexto, hay que destacar que las empresas de inteligencia artificial más grandes y conocidas se resisten a crear este tipo de compañeros de IA aludiendo a motivos éticos o por considerarlo demasiado arriesgado.
Se presenta como un negocio redondo para las empresas y como un entretenimiento tentador para los usuarios, pero si se va de las manos puede tener consecuencias muy negativas.
Qué es Character.AI
Character.AI es una apliación de juegos de rol que permite a los usuarios crear sus propios personajes de inteligencia artificial o chatear con personajes creados por otros; los moldearán a su gusto y les darán las instrucciones pertinentes sobre cómo deben actuar. Fundada por Noam Shazeer y Daniel De Freitas (exempleados de Google), exige que sus usuarios sean mayores de 13 años en Estados Unidos y de 16 años en Europa; sin embargo, no cuenta con ningún tipo de medida de seguridad para menores, salvo los continuos avisos en la pantalla sobre el carácter ficticio del personaje.