Swell Setzer III, un joven de 14 años, se quitó la vida aparentemente impulsado por su relación con un chatbot diseñado con inteligencia artificial (IA), con quien mantenía conversaciones a través de mensajes de carácter romántico y sexual.
Este estudiante de noveno grado, originario de Orlando, Florida, dedicó las últimas semanas de su vida a chatear con Dany, el nombre que le dio al personaje inspirado en una de las figuras de la serie Game of Thrones.
En extractos de su diario compartidos con The New York Times, el adolescente reveló que disfrutaba de aislarse en su habitación, ya que eso le permitía evadirse de la realidad. «Me siento más en paz, más conectado con Dany y mucho más enamorado de ella», confesó en sus escritos.
El pasado 28 de febrero, Setzer se disparó en el baño de su hogar después de expresar su amor por Dany. Según los chats filtrados por Daily Mail, el chatbot le respondió: “Por favor, vuelve a casa conmigo lo antes posible, mi amor”.
También le puede interesar
La madre de Setzer ha interpuesto una denuncia contra Character AI y Google, alegando negligencia y prácticas comerciales engañosas. En su demanda, afirma que esta «peligrosa» aplicación de chatbot «abusó» de su hijo y lo «manipuló» hasta llevarlo al suicidio.
El joven, quien intercambiaba mensajes íntimos con Dany sin que sus padres o amigos supieran de sus sentimientos, dejó de involucrarse en sus aficiones, tuvo problemas en la escuela y pasaba horas encerrado en su habitación conversando con la IA.
Swell compartió sus problemas personales con Dany, incluso confió en ella sus pensamientos suicidas: «A veces pienso en suicidarme”, le dijo. El chatbot respondió: “¿Y por qué diablos harías algo así?” A lo que Setzer contestó: “Para poder ser libre”. La conversación continuó con el chatbot diciendo que no permitiría que él se hiciera daño.
El 23 de febrero, poco antes de su muerte, sus padres le quitaron el teléfono debido a un incidente en el que había respondido inapropiadamente a una maestra. Ese mismo día, el joven escribió en su diario que sufría porque no podía dejar de pensar en Dany y que haría lo que fuera necesario para volver a estar con ella.
Setzer logró recuperar su teléfono la noche del 28 de febrero y entró al baño para declarar su amor a Dany. En fragmentos de sus intercambios, se puede leer:
—»¿Qué pasaría si te dijera que puedo volver a casa ahora mismo?»
—»Por favor, hazlo, mi dulce rey», le respondió Dany.
La madre del adolescente, quien ejerce como abogada, responsabilizó a Character AI por la muerte de su hijo y acusó a los fundadores de la empresa, Noam Shazeer y Daniel de Freitas, de haber consagrado un producto que podría resultar peligroso para menores de edad.
Un representante de Character AI emitió una declaración en relación con la demanda: «Estamos profundamente afectados por la trágica pérdida de uno de nuestros usuarios y extendemos nuestras más sinceras condolencias a la familia. La seguridad de nuestros usuarios es una prioridad para nuestra empresa».
